کاربر معمولاً این کدها را نمی‌بیند، اما برای ربات‌ها مهم‌ترین بخش پاسخ سرورند. رقم اول هر کد، گروه آن را نشان می‌دهد.
جدول کدها و برخورد گوگل با آن‌ها
| کد | معنی | گوگل چه می‌کند؟ |
|---|---|---|
| 200 | موفق | محتوا برای ایندکس بررسی می‌شود (تضمینی برای ایندکس نیست) |
| 204 | موفق بدون محتوا | محتوایی برای پردازش ندارد؛ معمولاً Soft 404 گزارش می‌شود |
| 301 و 308 | انتقال دائمی | سیگنال قوی که آدرس مقصد نسخه‌ی اصلی است |
| 302، 303 و 307 | انتقال موقت | دنبال می‌شود، اما سیگنال ضعیفی برای جایگزینی آدرس است |
| 304 | تغییر نکرده | نسخه‌ی قبلی معتبر است؛ در مصرف منابع خزش صرفه‌جویی می‌شود |
| 401 و 403 | نیاز به ورود یا دسترسی ممنوع | مثل صفحه‌ی ناموجود؛ ایندکس نمی‌شود |
| 404 | پیدا نشد | ایندکس نمی‌شود و به‌مرور از نتایج حذف می‌شود |
| 410 | برای همیشه حذف شده | مثل بقیه‌ی 4xxها رفتار می‌شود |
| 429 | درخواست بیش از حد | نشانه‌ی شلوغی سرور؛ خزش کند می‌شود |
| 500، 502، 503 و 504 | خطای سرور | خزش کند می‌شود؛ اگر ادامه پیدا کند صفحه از نتایج حذف می‌شود |
طبق مستندات گوگل (به‌روزرسانی فوریه ۲۰۲۶)، همه‌ی کدهای 4xx به جز 429 یکسان رفتار می‌شوند: آدرس «ناموجود» حساب می‌شود. Googlebot هم حداکثر ۱۰ ریدایرکت پشت سر هم را دنبال می‌کند و بعد از آن خطای ریدایرکت می‌دهد.
چند قانون طلایی
- کد باید با واقعیت بخواند: صفحه‌ای که «پیدا نشد» نشان می‌دهد نباید کد 200 بدهد (Soft 404).
- برای تغییر دائمی آدرس، 301 و برای تغییر موقت، 302.
- برای محدود کردن سرعت خزش فقط 429 یا 503 مؤثر است؛ 403 و 404 این کار را نمی‌کنند.
- کد 200 یعنی «اجازه‌ی بررسی»، نه تضمین ایندکس؛ کیفیت و تکراری نبودن محتوا هنوز تعیین‌کننده است.
کد وضعیت فایل robots.txt
این فایل قواعد خودش را دارد: اگر robots.txt کد 404 بدهد، گوگل فرض می‌کند محدودیتی برای خزش نیست؛ اما اگر 5xx یا 429 بدهد، گوگل خزش سایت را موقتاً متوقف می‌کند و اگر مشکل طول بکشد، از آخرین نسخه‌ی ذخیره‌شده‌ی فایل استفاده می‌کند. خطای سرور روی robots.txt می‌تواند خزش کل سایت را مختل کند. درباره robots.txt
چطور کد وضعیت را ببینیم؟
- مرورگر: کلید F12، زبانه‌ی Network و ستون Status.
- سرچ کنسول: گزارش Pages دلیل ایندکس نشدن هر گروه از آدرس‌ها را بر اساس کد وضعیت دسته‌بندی می‌کند؛ گزارش Crawl stats هم سهم هر کد از درخواست‌های Googlebot را نشان می‌دهد.
- خط فرمان: دستور
curl -I https://example.com/page/فقط هدرهای پاسخ را برمی‌گرداند.