گوگل چطور صفحه‌ها را پیدا می‌کند؟
- لینک‌ها: مهم‌ترین راه؛ از صفحه‌ای که می‌شناسد به صفحه‌های جدید می‌رود (لینک داخلی و بک‌لینک).
- نقشه سایت: فهرست مستقیم آدرس‌ها (نقشه سایت XML).
- خزش دوباره: سر زدن منظم به صفحه‌های قبلی برای دیدن تغییرات؛ صفحه‌های مهم و پرتغییر بیشتر خزیده می‌شوند.
خزش با ایندکس فرق دارد
خزش یعنی «دیدن»؛ ایندکس یعنی «تصمیم به نگه داشتن». گوگل ممکن است صفحه‌ای را مرتب بخزد ولی ایندکسش نکند، یا صفحه‌ای را که در robots.txt بسته شده، بدون خزیدن محتوایش فقط با آدرس ایندکس کند.
چه چیزهایی خزش را مختل می‌کند؟
- بستن مسیرها در robots.txt؛
- خطاهای سرور و کندی (خطاهای 5xx)؛
- فایروال یا CDN که Googlebot را مسدود می‌کند؛
- لینک‌هایی که با جاوااسکریپت ساخته می‌شوند و
<a href>واقعی ندارند؛ - آدرس‌های بی‌پایان پارامتردار که بودجه خزش را هدر می‌دهند.
چطور بررسی کنیم؟
گزارش Settings ← Crawl stats در سرچ کنسول تعداد درخواست‌ها، زمان پاسخ و کدهای وضعیت را نشان می‌دهد. برای یک صفحه‌ی خاص، URL Inspection آخرین زمان خزش و نتیجه‌ی آن را می‌گوید.