سرچ کنسول خلاصه‌ای از خزش را نشان می‌دهد، اما لاگ سرور جزئیات خام را دارد: تک‌تک درخواست‌ها، با زمان، آدرس، کد پاسخ و نام خزنده.
یک خط لاگ چه شکلی است؟
66.249.66.1 - - [02/Nov/2026:10:15:32 +0330] "GET /seo-glossary/crawl-budget/ HTTP/1.1" 200 18432 "-" "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"از همین خط می‌فهمیم Googlebot نسخه‌ی موبایل، در چه ساعتی، کدام صفحه را خواسته و پاسخ 200 گرفته است.
از لاگ چه چیزهایی می‌فهمیم؟
- گوگل بیشتر وقتش را صرف کدام بخش‌های سایت می‌کند و کدام بخش‌ها را نادیده می‌گیرد؛
- چه مقدار از خزش صرف ریدایرکت‌ها، 404ها و آدرس‌های پارامتردار می‌شود (بودجه خزش)؛
- صفحه‌های جدید چقدر بعد از انتشار برای اولین بار خزیده می‌شوند؛
- صفحه‌هایی که خزیده می‌شوند ولی در ساختار سایت لینکی ندارند (صفحه‌های یتیم)؛
- خطاهای 5xx که فقط گاهی و برای ربات‌ها رخ می‌دهند.
لاگ را از کجا بگیریم؟
در cPanel بخش Metrics ← Raw Access فایل لاگ هر دامنه را برای دانلود می‌دهد. روی سرورهای اختصاصی، لاگ‌های آپاچی، Nginx یا لایت‌اسپید معمولاً در مسیر logs سرور هستند. اگر از CDN استفاده می‌کنید، بخشی از درخواست‌ها ممکن است فقط در لاگ CDN ثبت شود.
ابزارها
Screaming Frog Log File Analyser برای شروع ساده است. برای سایت‌های بزرگ، اسکریپت‌های پایتون یا ابزارهایی مثل BigQuery کاربردی‌ترند.
اشتباه‌های رایج
- اعتماد به User-agent بدون بررسی DNS معکوس؛ ربات‌های جعلی زیادی خودشان را Googlebot معرفی می‌کنند.
- تحلیل بازه‌ی خیلی کوتاه؛ دست‌کم چند هفته لاگ لازم است.
- صرف وقت روی تحلیل لاگ در سایت چندصدصفحه‌ای که مشکل خزش ندارد.