گوگل با ۴۲۹ چه می‌کند؟
۴۲۹ تنها کد خانواده‌ی 4xx است که گوگل جدا از بقیه رفتار می‌کند. طبق مستندات گوگل، آن را سیگنال «سرور زیر فشار است» می‌داند و در کنار خطاهای 5xx قرار می‌دهد: Googlebot سرعت خزش را کم می‌کند و وقتی پاسخ‌ها دوباره عادی شد، به‌تدریج سرعت را بالا می‌برد.
کاربرد درست
اگر سرور واقعاً زیر فشار درخواست‌های زیاد ربات‌ها (از جمله Googlebot) است، برگرداندن موقت ۴۲۹ یا ۵۰۳ راه درست کم کردن سرعت خزش است. می‌توانید با هدر Retry-After هم بگویید چه زمانی دوباره تلاش شود. این راه‌حل باید موقت و در حد چند ساعت تا یکی دو روز باشد.
خطر استفاده‌ی طولانی
اگر ۴۲۹ برای روزها ادامه پیدا کند، گوگل همان رفتاری را دارد که با خطای سرور طولانی: آدرس‌هایی که مدام خطا می‌دهند به‌مرور از نتایج حذف می‌شوند. ضمن اینکه ۴۲۹ روی فایل robots.txt می‌تواند خزش کل سایت را متوقف کند.
دلایل رایج ۴۲۹ ناخواسته
- محدودیت نرخ درخواست (Rate Limit) سخت‌گیرانه در فایروال، CDN یا هاست؛
- افزونه‌های امنیتی وردپرس که بعد از چند درخواست سریع، IP را محدود می‌کنند؛
- هاست اشتراکی با محدودیت منابع که به هر ترافیک بالایی ۴۲۹ می‌دهد.
چطور بررسی کنیم؟
در سرچ کنسول گزارش Crawl stats را ببینید؛ اگر سهم پاسخ‌های ۴۲۹ یا خطای سرور بالا رفته، تنظیمات محدودیت نرخ را بررسی کنید و مطمئن شوید Googlebot واقعی (با بررسی DNS معکوس) در فهرست سفید است. تحلیل لاگ نشان می‌دهد کدام ربات بیشترین فشار را می‌آورد.