دلایل رایج
- فایروال یا افزونه‌ی امنیتی که ربات‌ها یا IPهای خارجی را مسدود می‌کند؛
- قوانین CDN که برای ترافیک «مشکوک» صفحه‌ی چالش یا ۴۰۳ نشان می‌دهند؛
- دسترسی فایل‌ها (Permission) نادرست روی سرور؛
- قوانین htaccess که پوشه‌ای را می‌بندند؛
- مسدود کردن کشوری که ممکن است کشور محل Googlebot را هم شامل شود.
چرا برای سایت‌های ایرانی مهم است؟
Googlebot عمدتاً از خارج ایران درخواست می‌فرستد. هاست‌ها و فایروال‌هایی که برای مقابله با حمله یا محدودیت‌های شبکه، ترافیک خارجی را می‌بندند، ممکن است بی‌سروصدا به گوگل ۴۰۳ بدهند. سایت برای شما در ایران عادی باز می‌شود، اما در سرچ کنسول ناگهان صفحه‌ها با خطای دسترسی از ایندکس خارج می‌شوند.
۴۰۳ برای کم کردن سرعت خزش جواب نمی‌دهد
گوگل صریحاً گفته از ۴۰۱ و ۴۰۳ برای کنترل سرعت خزش استفاده نکنید؛ این کدها فقط صفحه را از ایندکس بیرون می‌برند. اگر سرور زیر فشار ربات‌هاست، کدهای ۴۲۹ یا ۵۰۳ پیام درست هستند.
کی ۴۰۳ درست است؟
برای بخش‌هایی که واقعاً نباید عمومی باشند؛ مثل پوشه‌های مدیریتی، فایل‌های پیکربندی یا محتوای مخصوص اعضا. این صفحه‌ها اصلاً نباید در گوگل باشند.
چطور بررسی کنیم؟
- در سرچ کنسول گزارش Pages بخش «Blocked due to access forbidden (403)» را ببینید.
- با URL Inspection و «Test live URL» مطمئن شوید Googlebot پاسخ 200 می‌گیرد.
- در گزارش Crawl stats، افزایش ناگهانی پاسخ‌های 4xx معمولاً نشانه‌ی تغییر در فایروال یا CDN است.