هر صفحه قبل از اینکه در نتایج گوگل بیاید، سه مرحله را می‌گذراند: خزش (Googlebot صفحه را دریافت می‌کند)، رندر (صفحه با یک نسخه‌ی به‌روز کروم اجرا می‌شود تا محتوای جاوااسکریپتی هم دیده شود) و ایندکس (محتوا تحلیل و در پایگاه داده‌ی گوگل ذخیره می‌شود).
انواع Googlebot
- Googlebot Smartphone: خزنده‌ی اصلی. به خاطر ایندکس موبایل‌اول، تقریباً همه‌ی سایت‌ها با این نسخه خزیده می‌شوند.
- Googlebot Desktop: گاهی برای مقایسه استفاده می‌شود.
- خزنده‌های تخصصی: Googlebot-Image، Googlebot-Video، AdsBot (برای تبلیغات) و Google-InspectionTool (برای ابزار تست سرچ کنسول).
محدودیت حجم
طبق مستندات به‌روزشده‌ی گوگل در ۲۰۲۶، Googlebot برای جستجو حداکثر ۲ مگابایت اول فایل HTML را می‌خواند (برای PDF تا ۶۴ مگابایت). هر فایل CSS و JS هم جدا حساب می‌شود. صفحه‌های معمولی خیلی کمتر از این حجم‌اند، اما صفحه‌هایی که تصاویر base64 یا داده‌ی JSON سنگین را داخل HTML جاسازی می‌کنند ممکن است ناقص خوانده شوند.
چطور Googlebot واقعی را بشناسیم؟
هر کسی می‌تواند در درخواستش بنویسد «من Googlebot هستم». برای اطمینان، IP را با جستجوی DNS معکوس بررسی کنید؛ نام میزبان باید به googlebot.com یا google.com ختم شود. گوگل فهرست رسمی IPهای خزنده‌هایش را هم منتشر می‌کند.
نکته‌ی مهم برای سایت‌های ایرانی
Googlebot بیشتر از IPهای خارج از ایران (عمدتاً آمریکا) می‌آید. اگر هاست یا فایروال شما ترافیک خارجی را محدود یا مسدود کند، یا به ربات‌ها کپچا نشان دهد، گوگل نمی‌تواند سایت را بخزد و به‌مرور صفحه‌ها از نتایج حذف می‌شوند. بعد از هر قطعی یا محدودیت اینترنت بین‌الملل، گزارش Crawl stats سرچ کنسول را چک کنید.
اشتباه‌های رایج
- مسدود کردن IPهای خارجی در فایروال یا CDN.
- بستن فایل‌های CSS و JS در robots.txt که رندر صفحه را خراب می‌کند.
- اعتماد به User-agent بدون بررسی DNS در تحلیل لاگ‌ها.
- نشان دادن محتوای متفاوت به Googlebot و کاربر (Cloaking) که نقض قوانین گوگل است.
چطور بررسی کنیم؟
در سرچ کنسول مسیر Settings ← Crawl stats تعداد درخواست‌ها را به تفکیک نوع Googlebot و کد پاسخ نشان می‌دهد. ابزار URL Inspection با «Test live URL» دقیقاً همان چیزی را نشان می‌دهد که Googlebot از صفحه می‌بیند. برای تصویر کامل‌تر، تحلیل لاگ سرور را ببینید.