הסתרת ה robots.txt והחבאת תכנים
טכנית ישנה אופציה להחביא את קובץ ה robots.txt מהגולשים ולהציג אותו לגוגל בלבד(מדובר ב apache)
שכן אינני הייתי ממליץ לעשות זאת, במקרה וישנם קבצים רגישים שאינך רוצה להציג פשוט אל תעלה אותם לאינטרנט.
בכל מקרה הנה מספר כיוונים, הראשון זה הצגת הקובץ רק למנועי החיפוש את הפעולה הזו עושים ע"י Whitelist שבו תאשר רק את גוגל.
קודים לדוגמא כמו פה
http://goo.gl/HYh1n http://goo.gl/dwA47 http://goo.gl/A5uOb
תבחין שהם מאפשרים\חוסמים גישה ע"י סוג המנוע וכמובן אפשר לדאוג לפרמטרים נוספים כמו טווחי כתובות IP של מנועי החיפוש(כמו cloacking)
כך אתה תדאג שרק מנועי החיפוש יגשו לכתובת
אבל אין זה אומר שהם לא יציגו את הקובץ בתוצאות חיפוש כמו שקורה המון פעמים ומשום ששאלת האם אפשר ליישם תגיות noindex בקובץ הרי איאפשר, אבל יש פתרון עוקף.
ישנם האדרים שהשרת שלך יספק למנועי החיפוש והוא יציב תנאים למנועי החיפוש, מדובר ב X-Robots-Tag שתוכל ליישם בו פקודות של noindex, noarchive
ובכך למנוע את הופעתו בתוצאות החיפוש.
דוגמא לשורה כזו
<Files robots.txt>
Header set X-Robots-Tag "noindex, noarchive"
</Files>
