وقتی می‌خواهید صفحه‌ای برای کاربران باز بماند اما در نتایج گوگل نیاید، noindex ابزار درست است.
دو روش اعمال noindex
۱. متاتگ در head صفحه:
<meta name="robots" content="noindex, follow">۲. هدر HTTP؛ برای فایل‌هایی مثل PDF که head ندارند:
X-Robots-Tag: noindexدر وردپرس با Yoast کافی است در تنظیمات پیشرفته‌ی هر نوشته، گزینه‌ی «اجازه به موتورهای جستجو برای نمایش این محتوا» را روی «خیر» بگذارید.
چه صفحه‌هایی noindex لازم دارند؟
- صفحه‌های تشکر بعد از ثبت فرم یا خرید؛
- نتایج جستجوی داخلی سایت؛
- آرشیو برچسب‌های کم‌محتوا و تکراری؛
- صفحه‌های ورود، سبد خرید و حساب کاربری؛
- نسخه‌ی آزمایشی (Staging) سایت؛
- محتوایی که باید باشد ولی ارزش جستجو ندارد؛ مثلاً صفحه‌ی دانلود فایل‌های قدیمی.
noindex چطور کار می‌کند؟
گوگل باید صفحه را بخزد تا تگ را ببیند. پس اولین قانون این است: صفحه‌ی noindex را در robots.txt نبندید. بعد از خزش بعدی، صفحه از نتایج حذف می‌شود. برای سرعت بیشتر می‌توانید در سرچ کنسول درخواست بررسی دوباره بدهید. گوگل گفته اگر صفحه‌ای مدت طولانی noindex بماند، به‌مرور لینک‌های داخل آن را هم دنبال نمی‌کند.
اشتباه‌های رایج
- جا ماندن تیک «از موتورهای جستجو بخواهید سایت را ایندکس نکنند» در تنظیمات خواندن وردپرس بعد از راه‌اندازی سایت؛ کل سایت noindex می‌شود.
- noindex هم‌زمان با کنونیکال به صفحه‌ی دیگر؛ دو پیام متناقض. درباره کنونیکال
- نوشتن noindex داخل robots.txt؛ گوگل از ۲۰۱۹ آن را پشتیبانی نمی‌کند.
- ماندن صفحه‌های noindex در نقشه سایت؛ پیام متناقض به گوگل.
- استفاده از noindex برای صرفه‌جویی در بودجه خزش؛ صفحه همچنان خزیده می‌شود.
چطور بررسی کنیم؟
در ابزار URL Inspection سرچ کنسول بخش «Indexing allowed?» را ببینید. گزارش Pages هم همه‌ی صفحه‌هایی را که به دلیل noindex ایندکس نشده‌اند زیر عنوان Excluded by noindex tag فهرست می‌کند. هر چند وقت یک بار این فهرست را مرور کنید تا صفحه‌ی مهمی اشتباهی آنجا نباشد.