הקובץ robots.txt

[ub8]

הקובץ robots.txt

מה החשיבות שיש לו.האם הוא הכרחי ?

 

[gotik]

הוא לא הכרחי אבל כולם שמים אותו

בעיקרון מנועי חיפוש ימצאו לבד את האתר שלך אחרי כמה קישורים ואם יש לך sitemap אז גם יאנדקסו את כל הדפים שלך. אם אתה רוצה לחסום דפים מסויימים אז זה נעשה דרך הקובץ הזה. הרבה אנשים שמים את הקובץ הזה רק בשביל שמנועי החיפוש לא יקבלו הודעת שגיאה כאשר הם כן מחפשים את הקובץ הזה. old habits dies hard