درود چه توصیه هایی در مورد بهینه سازی سایت باید دانست.
منتشر شده در شنبه, 13 آذر 1395 18:50
ربات
ممکن است برای شما این اتفاق افتاده باشد که موقع باز کردن قسمت crawl erros در گوگل وبمستر با همجین خطایی مواجه باشید . robots.txt fetch
راهنمایی که من از گوگل در مورد این خطا دیدم و ترجمه کردم را براتون اینجا میذارم تا بخونید .
قبل از اینکه گوگل سایت شما را کرال کند. دسترسی های خود را از فایل robots.txt تعیین میکند.
اگر سایت شما گوگل را برای کرال کردن صفحات مسدود کرده باشد یا اگر فایل robots.txt شما غیر قابل دسترس باشد
یا به عبارت دیگر کد وضعیت 200 یا 404 را به گوگل برنگرداند . گوگل کرال کردن را به دلیل خطر کرال صفحاتی که شما دوست ندارید خوانده شوند متوقف می کند .
(معمولا ممکن است robots.txt بخاطر مشکلات کندی و قطعی هاست غیرقابل دسترس شده باشد یا اشتباها حذف شده باشد) .
موقعی که این اتفاق می افتد گوگل دوباره به سایت ما باز می گردد و به محض اینکه robots.txt قابل دسترس شد سایت را دوباره کرال میکند.
منبع:مقاله ی خطای robots.txt fetch در لابراسئو