خلاصه: گوگل برای نمایش یک صفحه در نتایج، سه کار انجام می‌دهد: اول با ربات‌هایش صفحه را پیدا می‌کند (خزش)، بعد محتوایش را می‌فهمد و ذخیره می‌کند (ایندکس) و در نهایت برای هر جستجو، بهترین صفحه‌ها را انتخاب و مرتب می‌کند (رتبه‌بندی). اگر صفحه‌ی شما در هر کدام از این سه مرحله گیر کند، در گوگل دیده نمی‌شود.
این مقاله یکی از بخش‌های راهنمای «سئو چیست» است. اینجا هر مرحله را با جزئیات بیشتری بررسی می‌کنیم و می‌بینیم چطور بفهمید صفحه‌ی شما کجای این مسیر گیر کرده است.
مرحله‌ی اول: خزش (Crawling)؛ گوگل صفحه را پیدا می‌کند
گوگل فهرست کاملی از همه‌ی صفحه‌های اینترنت ندارد. برای همین ربات‌هایی به نام Googlebot دائماً لینک‌ها را از یک صفحه به صفحه‌ی دیگر دنبال می‌کنند و صفحه‌های جدید یا به‌روزشده را پیدا می‌کنند. به این کار خزش یا Crawl می‌گویند.
گوگل از چند راه از وجود یک صفحه باخبر می‌شود:
- لینک‌ها: مهم‌ترین راه. لینک از صفحه‌های دیگر سایت خودتان (لینک داخلی) یا از سایت‌های دیگر.
- نقشه‌ی سایت (Sitemap): فایلی که فهرست صفحه‌های مهم سایت را به گوگل معرفی می‌کند. افزونه‌هایی مثل Yoast SEO آن را خودکار می‌سازند.
- درخواست مستقیم: با ابزار URL Inspection در سرچ کنسول گوگل می‌توانید بررسی یک صفحه را درخواست کنید.
چه چیزهایی جلوی خزش را می‌گیرد؟
- بستن مسیر صفحه در فایل robots.txt
- صفحه‌ای که هیچ لینکی به آن داده نشده (صفحه‌ی یتیم)
- خطاهای سرور (کدهای 5xx) یا کندی شدید سایت
- لینک‌هایی که فقط با جاوااسکریپت ساخته می‌شوند و در HTML واقعی نیستند
- محدودیت‌های فایروال یا سرویس‌هایی که ربات گوگل را مسدود می‌کنند
در سایت‌های بزرگ، مفهومی به نام بودجه‌ی خزش (Crawl Budget) هم مطرح است: گوگل برای هر سایت حدی برای تعداد صفحه‌هایی که بررسی می‌کند در نظر می‌گیرد. برای سایت‌های کوچک و متوسط معمولاً نگرانی جدی نیست، اما صفحه‌های تکراری و بی‌ارزش این بودجه را هدر می‌دهند.
مرحله‌ی دوم: ایندکس (Indexing)؛ گوگل صفحه را می‌فهمد
بعد از خزش، گوگل صفحه را رندر می‌کند (یعنی مثل یک مرورگر آن را اجرا می‌کند)، متن، تصاویر، لینک‌ها و ساختارش را تحلیل می‌کند و تصمیم می‌گیرد آن را در ایندکس خودش نگه دارد یا نه. ایندکس را مثل یک کتابخانه‌ی عظیم تصور کنید؛ فقط کتاب‌هایی که در این کتابخانه هستند می‌توانند به جستجوگر پیشنهاد شوند.
در این مرحله گوگل چند تصمیم مهم می‌گیرد:
- این صفحه درباره‌ی چیست؟ از روی عنوان، تیترها، متن و حتی تصاویر.
- آیا تکراری است؟ اگر چند صفحه محتوای مشابه داشته باشند، گوگل یکی را به‌عنوان نسخه‌ی اصلی (Canonical) انتخاب می‌کند و بقیه را کنار می‌گذارد.
- اجازه‌ی ایندکس دارد؟ صفحه‌ای که تگ noindex داشته باشد، ایندکس نمی‌شود.
- ارزش نگه داشتن دارد؟ گوگل همه‌ی صفحه‌های خزش‌شده را ایندکس نمی‌کند. صفحه‌های کم‌محتوا، تکراری یا بی‌کیفیت ممکن است کنار گذاشته شوند.
چرا صفحه‌ی من ایندکس نمی‌شود؟
این یکی از پرتکرارترین سؤال‌هایی است که از من پرسیده می‌شود. در گزارش Pages سرچ کنسول معمولاً یکی از این وضعیت‌ها را می‌بینید:
| وضعیت در سرچ کنسول | معنی | چه کار کنیم؟ |
|---|---|---|
| Discovered – currently not indexed | گوگل آدرس را می‌شناسد ولی هنوز خزشش نکرده | لینک داخلی بدهید، کیفیت و سرعت سایت را بهتر کنید، صبر کنید |
| Crawled – currently not indexed | خزش شده ولی گوگل فعلاً ارزش ایندکس ندیده | محتوا را کامل‌تر، منحصربه‌فردتر و مفیدتر کنید |
| Excluded by noindex tag | صفحه خودش گفته ایندکس نشود | اگر صفحه مهم است، noindex را بردارید |
| Blocked by robots.txt | دسترسی ربات بسته است | قانون robots.txt را اصلاح کنید |
| Duplicate / Alternate page with canonical | صفحه‌ی دیگری نسخه‌ی اصلی شناخته شده | Canonical و محتوای تکراری را بررسی کنید |
مرحله‌ی سوم: رتبه‌بندی (Ranking)؛ گوگل بهترین جواب را انتخاب می‌کند
وقتی کسی چیزی جستجو می‌کند، گوگل در کسری از ثانیه بین میلیون‌ها صفحه‌ی ایندکس‌شده می‌گردد و آن‌هایی را نمایش می‌دهد که به نظرش بهترین جواب‌اند. گوگل وزن دقیق سیگنال‌هایش را اعلام نمی‌کند، اما در توضیحات رسمی‌اش چند گروه اصلی را نام می‌برد:
- معنی جستجو: گوگل اول می‌فهمد کاربر دقیقاً چه می‌خواهد؛ حتی اگر غلط تایپی داشته باشد یا از کلمات مترادف استفاده کند. اینجاست که کلمه کلیدی و نیت جستجو اهمیت پیدا می‌کند.
- ارتباط محتوا: آیا صفحه واقعاً درباره‌ی همان موضوع است و به سؤال جواب می‌دهد؟
- کیفیت و اعتبار: آیا منبع قابل‌اعتماد است؟ آیا نشانه‌های تجربه و تخصص دارد؟ آیا سایت‌های معتبر دیگر به آن ارجاع داده‌اند؟
- قابلیت استفاده: سرعت، سازگاری با موبایل و تجربه‌ی کاربری صفحه.
- زمینه‌ی کاربر: موقعیت مکانی، زبان، دستگاه و گاهی سابقه‌ی جستجو.
برای آشنایی با سیگنال‌های بیشتر، عوامل رتبه‌بندی گوگل را بخوانید.
نتایج گوگل فقط ده لینک آبی نیست
صفحه‌ی نتایج گوگل (SERP) امروز بخش‌های مختلفی دارد و هر کدام فرصتی برای دیده شدن است:
- خلاصه‌ی هوش مصنوعی (AI Overviews): در بعضی جستجوها و زبان‌ها، گوگل بالای نتایج یک پاسخ خلاصه با ارجاع به منابع نشان می‌دهد.
- Featured Snippet: یک پاسخ کوتاه که از یکی از صفحه‌ها برداشته شده و بالای نتایج قرار می‌گیرد.
- سؤالات مرتبط (People Also Ask): سؤال‌هایی که کاربران معمولاً بعد از این جستجو می‌پرسند.
- تصاویر، ویدیوها و نقشه: برای جستجوهایی که جواب بصری یا محلی دارند.
برای همه‌ی این بخش‌ها همان قاعده‌ی اصلی صدق می‌کند: محتوای دقیق، ساختارمند و مفید.
چطور بفهمم صفحه‌ام کجای این مسیر است؟
- ابزار URL Inspection در سرچ کنسول: آدرس صفحه را وارد کنید تا ببینید خزش شده یا نه، ایندکس شده یا نه و اگر نه، چرا.
- گزارش Pages (ایندکس صفحات): وضعیت کل صفحه‌های سایت و دلیل ایندکس نشدن هر گروه.
- گزارش Performance: نشان می‌دهد صفحه با چه کلماتی و در چه جایگاهی در نتایج دیده می‌شود.
- جستجوی site: عبارتی مثل site:example.com در گوگل تصویر تقریبی از صفحه‌های ایندکس‌شده می‌دهد، اما دقیق نیست و جای سرچ کنسول را نمی‌گیرد.
چک‌لیست کوتاه: صفحه‌ی من آماده‌ی گوگل است؟
- حداقل یک لینک داخلی از صفحه‌های مرتبط به آن داده شده است.
- در نقشه‌ی سایت هست و در robots.txt مسدود نشده است.
- تگ noindex ندارد و Canonical آن به خودش اشاره می‌کند.
- محتوای منحصربه‌فرد و کاملی دارد که جواب یک نیاز مشخص را می‌دهد.
- در موبایل سریع باز می‌شود و درست نمایش داده می‌شود.
- وضعیتش را در سرچ کنسول بررسی کرده‌اید.
سؤالات متداول
ایندکس شدن یک صفحه‌ی جدید چقدر طول می‌کشد؟
از چند ساعت تا چند هفته. سایت‌های معتبرتر و پرتغییرتر معمولاً سریع‌تر بررسی می‌شوند. لینک داخلی از صفحه‌های پربازدید و ثبت در نقشه‌ی سایت روند را سریع‌تر می‌کند.
آیا باید هر صفحه را دستی در سرچ کنسول ثبت کنم؟
نه. اگر نقشه‌ی سایت و لینک‌سازی داخلی درست باشد، گوگل خودش صفحه‌ها را پیدا می‌کند. درخواست دستی بیشتر برای صفحه‌های مهم یا به‌روزرسانی‌های فوری مفید است.
آیا با پول دادن به گوگل رتبه‌ی ارگانیک بالا می‌رود؟
نه. تبلیغات گوگل (Google Ads) جدا از نتایج ارگانیک است و پرداخت برای آگهی روی رتبه‌ی طبیعی اثری ندارد. برای فرق این دو، بخش «تفاوت سئو با تبلیغات گوگل» در مقاله‌ی سئو چیست را ببینید.
چرا صفحه‌ام ایندکس شده ولی در نتایج دیده نمی‌شود؟
ایندکس شدن یعنی صفحه می‌تواند در نتایج بیاید، نه اینکه حتماً بیاید. احتمالاً صفحه‌های قوی‌تری برای آن جستجو وجود دارند. اینجا نوبت بهبود محتوا، سئو داخلی و اعتبار سایت است.
جمع‌بندی
گوگل صفحه را پیدا می‌کند، می‌فهمد و رتبه می‌دهد. بیشتر مشکلات سئو را می‌شود با پیدا کردن جایی که صفحه در این سه مرحله گیر کرده حل کرد. قدم بعدی این است که بدانید مردم با چه کلماتی دنبال محتوای شما هستند؛ ادامه را در راهنمای کلمه کلیدی بخوانید یا به صفحه‌ی اصلی آموزش سئو برگردید.
ارسال دیدگاه