کاربرد ابزار: در چند ثانیه یک فایل robots.txt استاندارد برای وردپرس، ووکامرس یا هر سایت دیگری بسازید، یا robots.txt فعلی سایتتان را بچسبانید تا خطاهایش پیدا شود و ببینید هر آدرس برای Googlebot، Bingbot و ربات‌های هوش مصنوعی باز است یا بسته. منطق تست طبق استاندارد رسمی RFC 9309 و رفتار گوگل است.
محتوای فایل robots.txt سایتتان را از آدرس example.com/robots.txt کپی کنید و این‌جا بچسبانید. همه‌چیز داخل مرورگر خودتان بررسی می‌شود.
| آدرس | نتیجه | قانون اعمالشده |
|---|
منطق تست طبق استاندارد RFC 9309 و رفتار گوگل است: گروه با دقیق‌ترین User-agent انتخاب می‌شود، بین قوانین، طولانی‌ترین قانون منطبق برنده است و در تساوی، Allow برنده می‌شود. علامت * یعنی هر تعداد کاراکتر و $ یعنی پایان آدرس.
فایل robots.txt چیست؟
robots.txt یک فایل متنی ساده در ریشه‌ی سایت است (مثلا example.com/robots.txt) که به ربات‌های موتور جستجو می‌گوید کدام بخش‌های سایت را خزش کنند و کدام را نه. هر ربات قبل از خزیدن سایت، اول این فایل را می‌خواند. توضیح کامل‌تر را در robots.txt چیست؟ نوشته‌ام.
نکته‌ی مهمی که خیلی‌ها اشتباه می‌کنند: robots.txt جلوی خزش را می‌گیرد، نه ایندکس را. اگر صفحه‌ای را در robots.txt ببندید ولی از جای دیگری به آن لینک داده شده باشد، ممکن است گوگل همچنان آدرسش را بدون توضیحات در نتایج نشان دهد. برای خارج کردن صفحه از نتایج باید از تگ noindex استفاده کنید.
راهنمای استفاده از ابزار
ساخت robots.txt
- آدرس سایتتان را وارد کنید تا آدرس نقشه سایت خودکار اضافه شود (برای سایت‌های وردپرسی با یوست: sitemap_index.xml).
- نوع سایت را انتخاب کنید: وردپرس، وردپرس با ووکامرس یا سایت عمومی.
- قوانینی که لازم دارید را تیک بزنید و اگر مسیر دیگری هم باید بسته شود، در کادر آخر بنویسید.
- خروجی را کپی یا دانلود کنید و با «تست همین فایل» مطمئن شوید صفحه‌های مهم برای گوگل باز هستند.
تست robots.txt فعلی سایت
- آدرس yoursite.com/robots.txt را در مرورگر باز کنید و محتوایش را در کادر تست بچسبانید.
- رباتی که می‌خواهید بررسی کنید را انتخاب کنید (Googlebot، Bingbot یا ربات‌های هوش مصنوعی).
- آدرس صفحه‌های مهم سایت را (هر خط یکی) وارد کنید و «بررسی کن» را بزنید. ابزار نشان می‌دهد هر آدرس مجاز است یا مسدود و دقیقا کدام خط فایل باعثش شده است.
ابزار علاوه بر تست آدرس‌ها، خطاهای رایج را هم خودکار پیدا می‌کند: بسته بودن کل سایت، بسته بودن فایل‌های CSS و JS، دستورهای پشتیبانی‌نشده مثل noindex و نبودن نقشه سایت.
robots.txt استاندارد برای وردپرس
برای بیشتر سایت‌های وردپرسی، همین چند خط کافی است:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://example.com/sitemap_index.xmlپوشه‌های wp-content و wp-includes را نبندید؛ گوگل برای دیدن ظاهر واقعی صفحه به فایل‌های CSS، جاوااسکریپت و تصاویر این پوشه‌ها نیاز دارد. این توصیه‌ی قدیمی که هنوز در خیلی از سایت‌های فارسی تکرار می‌شود، امروز به سئو آسیب می‌زند.
قواعد نوشتن robots.txt
| دستور | کاربرد | مثال |
|---|---|---|
| User-agent | مشخص می‌کند قوانین بعدی برای کدام ربات است؛ * یعنی همه | User-agent: Googlebot |
| Disallow | بستن یک مسیر | Disallow: /private/ |
| Allow | باز کردن یک زیرمسیر داخل مسیر بسته | Allow: /private/public.html |
| * | هر تعداد کاراکتر | Disallow: /*?sort= |
| $ | پایان آدرس | Disallow: /*.pdf$ |
| Sitemap | معرفی نقشه سایت با آدرس کامل | Sitemap: https://example.com/sitemap.xml |
چند قاعده که گوگل رعایت می‌کند:
- هر ربات فقط از یک گروه پیروی می‌کند: دقیق‌ترین گروهی که با نامش جور است. مثلا اگر گروهی برای Googlebot نوشته باشید، گوگل قوانین گروه * را دیگر نمی‌خواند.
- اگر چند قانون با یک آدرس جور باشند، طولانی‌ترین قانون برنده است و در تساوی، Allow برنده می‌شود.
- مسیرها به حروف بزرگ و کوچک حساس‌اند: /Blog/ با /blog/ فرق دارد.
- گوگل دستور Crawl-delay را نادیده می‌گیرد و حداکثر ۵۰۰ کیلوبایت اول فایل را می‌خواند.
robots.txt را کجا قرار دهیم؟
فایل باید دقیقا در ریشه‌ی دامنه باشد (example.com/robots.txt) و برای هر ساب‌دامین فایل جداگانه لازم است. در وردپرس سه راه دارید:
- ویرایشگر فایل یوست: مسیر Yoast SEO ← ابزارها ← ویرایشگر فایل.
- مدیریت فایل هاست (cPanel یا DirectAdmin): فایل robots.txt را در پوشه‌ی public_html بسازید یا ویرایش کنید.
- اگر هیچ فایلی نسازید، وردپرس یک robots.txt مجازی و حداقلی نمایش می‌دهد.
بعد از تغییر، در سرچ کنسول به بخش تنظیمات ← گزارش robots.txt بروید تا ببینید گوگل نسخه‌ی جدید را دریافت کرده است. گوگل معمولا robots.txt را تا ۲۴ ساعت در حافظه نگه می‌دارد. آموزش کامل سرچ کنسول را در این مقاله ببینید.
اشتباهات رایج در robots.txt
- Disallow: / باقی‌مانده از دوران طراحی: کل سایت برای گوگل بسته می‌ماند. ابزار بالا این خطا را با رنگ قرمز نشان می‌دهد.
- بستن صفحه‌ای که noindex دارد: وقتی صفحه بسته است، گوگل نمی‌تواند تگ noindex آن را ببیند؛ پس صفحه ممکن است در نتایج بماند. اول noindex کنید، بعد از خارج شدن از ایندکس اگر خواستید ببندید.
- بستن CSS و JS: گوگل صفحه را ناقص می‌بیند و ممکن است آن را موبایل‌پسند تشخیص ندهد.
- استفاده از robots.txt برای مخفی کردن اطلاعات حساس: این فایل عمومی است و هر کسی می‌تواند بخواندش. صفحه‌های خصوصی را با رمز عبور محافظت کنید.
- بستن صفحه‌هایی که ریدایرکت دارند: گوگل باید بتواند ریدایرکت را ببیند تا اعتبار صفحه را منتقل کند.
درست استفاده کردن از robots.txt مخصوصا در سایت‌های بزرگ به مدیریت بودجه خزش کمک می‌کند.
بستن ربات‌های هوش مصنوعی: بله یا نه؟
ربات‌هایی مثل GPTBot و Google-Extended برای آموزش مدل‌های هوش مصنوعی محتوا جمع می‌کنند. بستن آن‌ها روی رتبه‌ی شما در جستجوی گوگل اثری ندارد. اما ربات‌هایی مثل OAI-SearchBot و PerplexityBot برای جستجو و نمایش منبع در جواب‌های هوش مصنوعی هستند؛ اگر آن‌ها را ببندید، احتمال دیده شدن سایتتان در این جواب‌ها کم می‌شود. به همین دلیل گزینه‌ی این ابزار فقط ربات‌های آموزشی را می‌بندد. درباره‌ی دیده شدن در جستجوی هوش مصنوعی در GEO چیست؟ و llms.txt بیشتر بخوانید.
سوالات متداول
آیا robots.txt صفحه را از گوگل حذف می‌کند؟
نه. robots.txt فقط جلوی خزش را می‌گیرد. برای حذف صفحه از نتایج، تگ noindex بگذارید یا صفحه را با کد 410 حذف کنید.
اگر سایتم robots.txt نداشته باشد چه می‌شود؟
هیچ مشکلی پیش نمی‌آید؛ گوگل فرض می‌کند خزش همه‌ی صفحات مجاز است. ولی داشتن فایل برای معرفی نقشه سایت و بستن بخش‌های بی‌ارزش مفید است.
چرا ابزار تست قدیمی robots.txt در سرچ کنسول نیست؟
گوگل ابزار قدیمی robots.txt Tester را کنار گذاشته و به جایش «گزارش robots.txt» را در بخش تنظیمات سرچ کنسول قرار داده است. این گزارش نشان می‌دهد گوگل کدام نسخه از فایل را دریافت کرده و چه خطاهایی دارد، ولی تست آدرس به آدرس ندارد؛ برای همین این ابزار را ساخته‌ام.
اطلاعاتی که وارد می‌کنم جایی ذخیره می‌شود؟
نه. همه‌ی پردازش داخل مرورگر خودتان انجام می‌شود و چیزی به سرور ارسال نمی‌شود.
ابزارهای رایگان دیگر را در صفحه‌ی ابزارها ببینید.