ربات گوگل (Googlebot) وقت و منابع نامحدود ندارد. برای هر سایت حساب می‌کند چند درخواست بفرستد تا هم سرور شما را خسته نکند و هم صفحه‌های مهم و تازه را از دست ندهد. حاصل این حساب‌وکتاب همان بودجه خزش است.
بودجه خزش از چه ساخته شده؟
- ظرفیت خزش (Crawl Capacity Limit): سقف درخواست‌هایی که گوگل بدون کند کردن سرور شما می‌فرستد. اگر سرور سریع و پایدار جواب بدهد این سقف بالا می‌رود؛ اگر کندی، خطای 5xx یا کد 429 ببیند پایین می‌آید.
- تقاضای خزش (Crawl Demand): اینکه گوگل چقدر دلش می‌خواهد صفحه‌های شما را ببیند. محبوبیت صفحه‌ها، کیفیت محتوا، تعداد URLهای تکراری و تازگی محتوا روی آن اثر دارد.
طبق مستندات به‌روزشده‌ی گوگل (ژوئیه ۲۰۲۶)، هر سایت با یک سقف ظرفیت محافظه‌کارانه‌ی یکسان شروع می‌کند و اگر سالم و پرتقاضا باشد این سقف به‌مرور بالا می‌رود. نکته‌ی جدید این است که این ظرفیت بین همه‌ی خزنده‌های گوگل مشترک است؛ یعنی اگر مثلاً AdsBot یا خزنده‌ی گوگل شاپینگ زیاد سراغ سایت بیایند، سهم Googlebot کمتر می‌شود.
آیا سایت من باید نگران بودجه خزش باشد؟
برای بیشتر سایت‌ها جواب «نه» است. خود گوگل می‌گوید این موضوع حدوداً برای دو گروه جدی است:
- سایت‌های خیلی بزرگ با بیش از یک میلیون صفحه‌ی یکتا که هفته‌ای یک بار تغییر می‌کنند؛
- سایت‌های متوسط با بیش از ۱۰ هزار صفحه که محتوایشان روزانه و سریع عوض می‌شود (مثل فروشگاه‌ها و سایت‌های خبری و آگهی).
اگر وبلاگ یا سایت شرکتی با چند صد صفحه دارید و صفحه‌های جدیدتان یکی دو روزه ایندکس می‌شوند، مشکل شما بودجه خزش نیست؛ احتمالاً کیفیت محتوا یا لینک داخلی است.
مثال واقعی
یک فروشگاه اینترنتی با ۵ هزار محصول را در نظر بگیرید که فیلترهای رنگ، سایز و قیمت را به شکل پارامتر در URL می‌سازد (مثل ?color=red&size=42). ترکیب این فیلترها ده‌ها هزار آدرس تقریباً تکراری می‌سازد. گوگل وقتش را صرف خزیدن این آدرس‌های بی‌ارزش می‌کند و محصولات جدید دیرتر دیده می‌شوند. اینجا بستن پارامترهای بی‌ارزش در robots.txt و استفاده‌ی درست از تگ کنونیکال مستقیماً به بودجه خزش کمک می‌کند.
چطور بودجه خزش را هدر ندهیم؟
- سرعت پاسخ سرور را بالا ببرید. زمان پاسخ کمتر یعنی گوگل در همان زمان صفحه‌های بیشتری می‌خواند.
- از کد 304 (Not Modified) پشتیبانی کنید تا گوگل برای صفحه‌های تغییرنکرده دوباره کل صفحه را دانلود نکند.
- آدرس‌های تکراری را جمع کنید: پارامترها، نسخه‌های www و بدون www، http و https.
- زنجیره‌های ریدایرکت را کوتاه کنید و لینک‌های داخلی را مستقیم به آدرس نهایی بدهید (ریدایرکت ۳۰۱).
- نقشه سایت تمیز داشته باشید؛ فقط صفحه‌های ایندکس‌شدنی با کد 200 (نقشه سایت XML).
- صفحه‌های خطای 404 نرم (Soft 404) و صفحه‌های بی‌محتوا را حذف یا ادغام کنید.
اشتباه‌های رایج
- استفاده از noindex برای صرفه‌جویی در بودجه خزش: گوگل صفحه‌ی noindex را باز هم می‌خزد تا دستور را ببیند. اگر نمی‌خواهید خزیده شود، باید در robots.txt ببندید.
- جابه‌جا کردن موقت بودجه با robots.txt: گوگل صریحاً گفته این کار جواب نمی‌دهد.
- نگرانی بی‌مورد در سایت‌های کوچک و غفلت از مشکل اصلی، یعنی محتوای ضعیف.
چطور بررسی کنیم؟
در سرچ کنسول به مسیر Settings ← Crawl stats بروید. نمودار تعداد درخواست‌ها، میانگین زمان پاسخ و درصد خطاها را نشان می‌دهد. اگر زمان پاسخ بالاست یا بخش بزرگی از درخواست‌ها صرف ریدایرکت و 404 می‌شود، همان‌جا نقطه‌ی شروع بهینه‌سازی است. برای سایت‌های بزرگ، تحلیل لاگ سرور دقیق‌ترین تصویر را می‌دهد.