קובץ robots.txt המאוחסן השורש של האתר שלך יגידו רובוטים באינטרנט כמו עכבישים מנוע החיפוש מה ספריות וקבצים הם רשאים לסרוק. קל להשתמש בקובץ robots.txt, אך יש כמה דברים שכדאי לזכור:
- שחור רובוטי אינטרנט כובע יתעלם קובץ robots.txt שלך. הסוגים הנפוצים ביותר הם רובוטים של תוכנות זדוניות ורובוטים המחפשים כתובות דוא"ל למסיק.
- כמה מתכנתים חדשים יכתבו רובוטים שמתעלמים מקובץ robots.txt. זה נעשה בדרך כלל בטעות.
- כל אחד יכול לראות את הקובץ robots.txt שלך. הם נקראים תמיד robots.txt ומאוחסנים תמיד בשורש האתר.
- לבסוף, אם מישהו מקשר לקובץ או לספרייה שאינם נכללים בקובץ robots.txt מדף שאינו נכלל בקובץ robots.txt, מנועי החיפוש עשויים למצוא אותו בכל זאת.
אל תשתמש בקובצי robots.txt כדי להסתיר כל דבר חשוב. במקום זאת, אתה צריך לשים מידע חשוב מאחורי סיסמאות מאובטחות או להשאיר אותו מחוץ לאינטרנט לחלוטין.
כיצד להשתמש אלה קבצים לדוגמה
העתק את הטקסט מהמדגם הקרוב ביותר למה שאתה רוצה לעשות, והדבק אותו בקובץ robots.txt שלך. שנה את שמות הרובוטים, הספריות והשמות כדי להתאים לתצורה המועדפת עליך.
שני קבצים בסיסיים Robots.txt
סוכן משתמש: *
Disallow: /
קובץ זה אומר שכל רובוט (User-agent: *) שמגיע אליו צריך להתעלם מכל דף באתר (Disallow: /).
סוכן משתמש: *
Disallow:
קובץ זה אומר שכל רובוט (User-agent: *) שמגיע אליו רשאי להציג כל דף באתר (Disallow:).
תוכל גם לעשות זאת על ידי השארת קובץ robots.txt ריק או שאין לך אתר באתר שלך בכלל.
להגן על ספריות ספציפיות מ רובוטים
סוכן משתמש: *
Disallow: / cgi-bin /
Disallow: / temp /
קובץ זה אומר כי כל רובוט (User-agent: *) שמגיע אליו צריך להתעלם מהספריות / cgi-bin / ו / temp / (disallow: / cgi-bin / Disallow: / temp /).
להגן על דפים ספציפיים מתוך רובוטים
סוכן משתמש: *
Disallow: /jenns-stuff.htm
Disallow: /private.php
קובץ זה אומר שכל רובוט (User-agent: *) שמקבל גישה אליו צריך להתעלם מהקבצים /jenns-stuff.htm ו- /private.php (Disallow: /jenns-stuff.htm Disallow: /private.php).
מנע רובוט ספציפי מ גישה לאתר שלך
סוכן משתמש: Lycos / xx
Disallow: /
קובץ זה אומר כי Lycos בוט (User-agent: Lycos / xx) אינו מורשה לגשת לכל מקום באתר (Disallow: /).
אפשר רק גישה ספציפית לרובוט
סוכן משתמש: *
Disallow: /
סוכן משתמש: Googlebot
Disallow:
קובץ זה אינו מאפשר את כל הרובוטים כפי שעשינו למעלה, ולאחר מכן מאפשר באופן מפורש ל- Googlebot (User-Agent: Googlebot) לגשת לכל דבר (Disallow:).
שלב קווים מרובים כדי לקבל בדיוק את החריגים שאתה רוצה
למרות שעדיף להשתמש בקו משתמש-סוכן כולל מאוד, כגון User-agent: *, אתה יכול להיות ספציפי ככל שתרצה. זכור כי רובוטים לקרוא את הקובץ בסדר. אז אם השורות הראשונות אומרות שכל הרובוטים חסומים מכל דבר, ואז מאוחר יותר בקובץ כתוב שכל הרובוטים מורשים לגשת לכל דבר, לרובוטים תהיה גישה לכל דבר.
אם אינך בטוח שכתבת את קובץ ה- robots.txt כראוי, תוכל להשתמש בכלי מנהלי האתרים של Google כדי לבדוק את קובץ ה- robots.txt או לכתוב קובץ חדש.