فولدر Robots.txt یک فولدر متنیست که وبمسترها با ساخت‌و‌ساز آن میتوانند ربات های موتورهای کاوش سئو در مشهد را در هنگام پایش تارنما پند نمایند. فولدر robots.txt جزیی از پروتکلی با اسم REP میباشد که به استانداردسازی روش پایش اینترنت بوسیله رباتها و چگونگی دسترسی و ایندکس محتوا و ارائه آن به یوزرها می‌پردازد. پروتکل REP همینطور مشتمل بر روش عکس العمل با متا تگ Robots و دستوراتی دیگری مانند فالو کردن پیوند ها نیز میباشد.
در شغل فولدر های robots.txt به user agent ها (مانند ربات های موتورهای کاوش) اشاره می نمایند که کدام صفحه ها را پایش و به کدام مسیرها کاری نداشته باشند. این ارشاد ها در پوسته دستوراتی مانند Allow و Disallow به آن‌ها داده میشود.
فرمت ابتدایی این پوشه به صورت تحت میباشد:
User-agent: [user-agent اسم]
Disallow: [یو آر الی که نبایست پایش خواهد شد]
با به کارگیری از این فولدر می قدرت اوامر متفاوتی برای user agent های متعدد نوشت. کافیست که هرکدام از دسته اوامر برای یک user agent را با یک خط چین از دیگری متمایز کنیم. به تصویر پایین دقت فرمایید:
در‌حالتی که که چند تیم فرمان برای چندین user agent در پوشه robots.txt تولید گردیده باشد، هر user agent اوامر مختص به خویش را میخواند. از جمله به تصویر پایین اعتنا فرمائید:
با دقت به امرها بالا، user agent با اسم msnbot صرفا به دسته امرها نصیب نخستین دقت می نماید. در شرایطی که که user agent وارداتی به وب سایت جز هیچ یک از این آیتم ها نباشد، اوامر نصیب دوم که با user-agent: * استارت شد‌ه‌است را دنبال می نماید.
نمونه هایی از فولدر robots.txt
به‌دنبال نمونه هایی را از پوشه robots.txt برایتان مهیا کرده ایم. اعتنا داشته باشید که‌این پوشه در مسیر روت تارنما یعنی نشانی www.example.com/robots.txt جای‌دارد.
خودداری از دسترسی مجموع پایشگر ها به آحاد تارنما:
User-agent: *
Disallow: /
این اوامر در فولدر robots.txt به تک تک پایشگرهای اینترنت اعلام می نماید که هیچ شیت ای در دامنه www.example.com را پایش نکنند.
دسترسی دادن به کل صفحه های وب سایت به کل پایشگرها:
User-agent: *
Disallow:
این امرها در پوشه robots.txt به مجموع پایشگرهای اینترنت اعلام می نماید که میتوانند کل صفحه ها دامنه www.example.com را پایش نمایند.
بلاک کردن دسترسی یک پایشگر به خصوص از یک پوشه معلوم:
User-agent: Googlebot
Disallow: /example-subfolder/
این اوامر به پایشگر Googlebot (ربات پایشگر گوگل) اعلام می نماید که یو آر ال های دربرگیرنده www.example.com/example-subfolder/ پایش نکند.
بلاک کردن دسترسی یک پایشگر به خصوص از یک شیت اینترنت معین:
User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html
این امرها به پایشگر Bingbot (ربات پایشگر بینگ) اعلام می نماید که فقط یو آر ال www.example.com/example-subfolder/blocked-page.html را پایش نکند.
پوشه robots.txt چه‌گونه فعالیت می نماید؟
موتورهای کاوش دارنده دو وظیفه مهم می باشند:
پایش اینترنت برای یافتن محتوای نو
ایندکس کردن محتوا برای کاوش کنندگانی که در پی آن میباشند
موتورهای کاوش برای پایش تارنما ها پیوند ها را دنبال کرده و از یک تارنما به سایتی دیگر می‌روند. بدین اخلاق آنان خزیدن یا این که Spidering نیز گفته میشود.
آنان بعداز وصال به یک سایت، پیش از پایش آن نگاهی به فولدر robots.txt می اندازند. در شکل یافتن این پوشه، آن را خوانده و آن گاه به پایش تارنما ادامه می‌دهند. فولدر های robots.txt به منزله راهبرد پایشگرها برای پایش سایت میباشد. چنانچه که فولدر robots.txt دارنده دستوری برای محصور کردن پایشگرها نباشد (یا این که ابدا هیچ پوشه robots.txt وجود نداشته باشد)، پایشگرها سوای هیچ محدودیتی به مجموع بخش های یافته گردیده رمز زده و آن‌ها را ایندکس می نمایند.