بهترین و مهم‌ترین دستورات robots.txt برای افزایش سئو سایت؛ راهنمای جامع تنظیم فایل روبوتس

[Ahmad]

فایل robots.txt چیست و چرا اهمیت دارد؟

فایل robots.txt به عنوان یکی از اجزای مهم سئو فنی، نقش کلیدی در تعیین دسترسی ربات‌های موتور جستجو به بخش‌های مختلف سایت دارد. این فایل کوچک در ریشه دایرکتوری سایت قرار می‌گیرد و قبل از خزش هر صفحه، توسط ربات‌ها بررسی می‌شود. تنظیم اصولی آن به شما کمک می‌کند ایندکس صفحات غیرضروری را کنترل کرده، از هدررفت اعتبار سئو جلوگیری و عملکرد بهتری در گوگل کسب کنید.

دستورات کلیدی و ساختار robots.txt

فایل robots.txt از چند دستور اصلی تشکیل شده است:

• User-agent: تعیین نام ربات هدف (مثلاً Googlebot)
• Disallow: جلوگیری از خزش پوشه یا آدرس خاص
• Allow: اجازه دسترسی به مسیر خاص (در پوشه Disallow شده)
• Sitemap: معرفی آدرس نقشه سایت به ربات‌ها
• Crawl-delay: تنظیم زمان تأخیر بین خزش صفحات (در برخی موتورهای جستجو)

نمونه یک فایل robots.txt استاندارد

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://akarimi.com/sitemap.xml

در مثال بالا، همه ربات‌ها از دسترسی به پوشه مدیریت وردپرس منع شده‌اند، به جز آدرس admin-ajax.php که برای کارکرد برخی افزونه‌ها باید باز باشد.

بهترین دستورات برای سئو و کاربرد هرکدام

۱. جلوگیری از خزش بخش‌های مدیریتی و خصوصی

مدیریت سایت، پوشه‌ها یا صفحات تکراری و خصوصی، معمولاً ارزش سئویی ندارند و باید توسط ربات‌ها دیده نشوند:

Disallow: /wp-admin/
Disallow: /login/
Disallow: /cart/
Disallow: /checkout/

۲. جلوگیری از ایندکس صفحات تکراری و پارامتری

برای سایت‌هایی که پارامترهای زیاد دارند (مثلاً فیلترهای دسته‌بندی یا سبد خرید):

Disallow: /*?orderby=
Disallow: /*?add-to-cart=

این کار باعث جلوگیری از ایندکس صفحات با URL تکراری می‌شود.

۳. اجازه به ربات‌ها برای دسترسی به فایل‌های استاتیک

برای عملکرد صحیح سایت (خصوصاً رندر ریسپانسیو و استایل صحیح در گوگل)، باید CSS و JS باز باشد:

Allow: /wp-content/uploads/
Allow: /wp-content/themes/
Allow: /wp-content/plugins/

۴. معرفی نقشه سایت (Sitemap)

همیشه انتهای فایل robots.txt آدرس نقشه اصلی سایت را بنویسید:

Sitemap: https://akarimi.com/sitemap.xml

۵. تعیین قوانین خاص برای ربات‌های خاص

گاهی لازم است برخی ربات‌ها مثل Googlebot را جداگانه کنترل کنید:

User-agent: Googlebot
Disallow: /private-data/

نکات و توصیه‌های عملی در تنظیم robots.txt

• دسترسی کامل ربات‌های معتبر (Googlebot, Bingbot) را به محتوا و استایل اصلی سایت باز بگذارید تا صفحات صحیح نمایش داده شوند.
• فایل robots.txt را مرتب بررسی و بروزرسانی کنید و از ابزار Robots Tester گوگل برای تست دستورات بهره بگیرید.
• از Disallow: / که تمام سایت را برای همه ربات‌ها می‌بندد (مگر در سایت‌هایی که موقتاً می‌خواهید ایندکس نشود) پرهیز کنید.
• برای سایت‌های ترکیبی (انجمن و سایت اصلی مثل akarimi.com و akarimi.com/talk/) هر دامنه یا زیرشاخه باید فایل robots.txt مختص خودش داشته باشد.
• دستور Crawl-delay برای گوگل تاثیری ندارد، اما برخی موتورهای ثانویه (مثل بینگ) آن را می‌فهمند.

رایج‌ترین اشتباهات در تنظیم robots.txt

• منع دسترسی ربات‌ها به css و js که باعث اختلال در رندر سایت و کاهش سئو می‌شود.
• فراموشی درج نقشه سایت، که شانس ایندکس بهتر را از شما می‌گیرد.
• استفاده اشتباه از علامت /* به جای مسیر صحیح
• فراموش کردن به‌روزرسانی بعد از تغییر ساختار سایت
• کپی تمام تنظیمات از سایت‌های دیگر بدون توجه به نیاز بیزینس

کنترل وضعیت ایندکس با Google Search Console

حتماً بعد از هر تغییر فایل robots.txt با ابزار URL Inspection و robots.txt Tester سرچ کنسول گوگل، وضعیت دسترسی ربات‌ها را بررسی کنید تا مطمئن شوید بخش‌های مهم سایت برای ایندکس باز هستند.

جمع‌بندی

تنظیم صحیح فایل robots.txt یکی از اصول اساسی سئو فنی سایت است که مدیریت آن نیازمند دقت و شناخت کامل ساختار سایت می‌باشد. اگر نیاز به نمونه کد یا مثال بیشتری برای سایت وردپرسی یا زنفورو داشتی، یا با مشکل در ایندکس بخش‌های خاص روبرو شدی، کافیست در انجمن تخصصی احمدرضا کریمی سؤال مطرح کنی تا به نتیجه برسی.