robots.txt برای هوش مصنوعی دیگر یک فایل فنی فراموش‌شده نیست. همین فایل تعیین می‌کند محتوای سایت شما برای آموزش مدل‌ها استفاده شود، در جستجوی ChatGPT و Claude دیده شود یا هیچ‌کدام. نکتهٔ کلیدی این است که شرکت‌های هوش مصنوعی برای هر کار یک ربات جداگانه دارند؛ پس بستن یک ربات (مثلاً GPTBot) لزوماً شما را از پاسخ‌های ChatGPT حذف نمی‌کند و باز گذاشتن همه‌چیز هم همیشه بهترین تصمیم نیست. در این راهنما ربات‌های مهم، تفاوت آموزش و جستجو، نمونه کد آماده، نقش واقعی llms.txt و روش تست را می‌بینید. اگر هنوز سایت را برای عامل‌ها آماده نکرده‌اید، اول آماده‌سازی سایت برای AI Agent را بخوانید.
جواب کوتاه: برای دیده‌شدن در جستجوی هوش مصنوعی، ربات‌های جستجو و درخواست کاربر (OAI-SearchBot، Claude-SearchBot، PerplexityBot، Claude-User، ChatGPT-User) را مجاز بگذارید. اگر نمی‌خواهید محتوایتان برای آموزش مدل‌ها استفاده شود، ربات‌های آموزشی (GPTBot، ClaudeBot و توکن Google-Extended) را جدا ببندید. دیده‌شدن در AI Overviews و AI Mode گوگل به Googlebot و ایندکس عادی وابسته است، نه به llms.txt. بعضی ربات‌های «درخواست کاربر» ممکن است robots.txt را اعمال نکنند؛ برای کنترل واقعی از فایروال و تأیید IP استفاده کنید.
چرا robots.txt برای هوش مصنوعی به یک تصمیم تجاری تبدیل شده؟
سال‌ها robots.txt بیشتر دربارهٔ Googlebot و بودجهٔ خزش بود. امروز هر موتور پاسخ‌گوی هوش مصنوعی ربات‌های خودش را دارد و robots.txt برای هوش مصنوعی سه تصمیم جدا را در خود دارد:
- آموزش مدل: محتوای شما برای آموزش نسل‌های بعدی مدل‌ها استفاده شود یا نه؟
- جستجوی هوش مصنوعی: در پاسخ‌های ChatGPT، Claude، Perplexity و جمینای دیده و ارجاع داده شوید یا نه؟
- درخواست مستقیم کاربر: وقتی کاربر آدرس صفحهٔ شما را به یک دستیار می‌دهد، دستیار اجازهٔ خواندنش را داشته باشد یا نه؟
شرکت‌های بزرگ برای هر کدام کنترل جداگانه منتشر کرده‌اند. خطای رایج این است که صاحب سایت همه را یکی فرض می‌کند. گزارش‌های فنی منتشرشده هم می‌گویند رایج‌ترین دلیل نرسیدن یک ربات هوش مصنوعی به سایت، معمولاً قانون ناخواستهٔ فایروال یا مدیریت ربات است، نه یک بلاک عمدی در robots.txt. دربارهٔ این مشکل در بخش «فایروال و CDN» بیشتر می‌گوییم.
سه نوع ربات هوش مصنوعی: آموزش، جستجو و درخواست کاربر
| نوع | کار | نمونه | اگر ببندید |
|---|---|---|---|
| آموزش (Training) | جمع‌آوری محتوا برای آموزش نسل‌های بعدی مدل | GPTBot، ClaudeBot، Google-Extended (توکن، نه ربات) | محتوا از آموزش مدل‌های آینده کنار می‌رود. طبق مستندات OpenAI و Anthropic، این کار جدا از دیده‌شدن در جستجو است. |
| جستجو (Search) | ساخت ایندکسی که پاسخ‌های جستجوی هوش مصنوعی از آن می‌آید | OAI-SearchBot، Claude-SearchBot، PerplexityBot | احتمال نمایش و ارجاع به سایت در پاسخ‌های همان سرویس کم می‌شود. |
| درخواست کاربر (User) | باز کردن یک صفحه وقتی کاربر خودش بخواهد | ChatGPT-User، Claude-User، Perplexity-User | دستیار نمی‌تواند صفحه را برای کاربر بخواند؛ اما بعضی سرویس‌ها این ربات را از robots.txt مستثنا می‌کنند. |
فهرست ربات‌های مهم هوش مصنوعی در ۱۴۰۵
| ربات یا توکن | شرکت | نقش | رعایت robots.txt |
|---|---|---|---|
GPTBot | OpenAI | آموزش | بله |
OAI-SearchBot | OpenAI | جستجوی ChatGPT | بله؛ OpenAI برای دیده‌شدن توصیه می‌کند مجاز باشد |
ChatGPT-User | OpenAI | درخواست کاربر در ChatGPT و GPTهای سفارشی | طبق OpenAI ممکن است اعمال نشود |
ClaudeBot | Anthropic | آموزش | بله |
Claude-SearchBot | Anthropic | ایندکس جستجوی Claude | بله |
Claude-User | Anthropic | درخواست کاربر | بله (طبق Anthropic) |
PerplexityBot | Perplexity | ایندکس جستجو | بله |
Perplexity-User | Perplexity | درخواست کاربر | طبق Perplexity معمولاً نادیده می‌گیرد |
Google-Extended | توکن کنترل آموزش و grounding جمینای | بله (توکن robots.txt) | |
Googlebot | جستجو؛ پایهٔ AI Overviews و AI Mode | بله | |
CCBot | Common Crawl | آرشیو عمومی وب که برای آموزش مدل‌ها هم به کار می‌رود | بله |
Applebot-Extended | Apple | توکن کنترل استفاده از محتوا برای آموزش مدل‌های اپل | بله (توکن) |
Bytespider | ByteDance | آموزش | گزارش‌ها می‌گویند اغلب نادیده می‌گیرد |
این فهرست ثابت نیست. قبل از انتشار، مستندات رسمی OpenAI، Anthropic و Perplexity را دوباره نگاه کنید. فهرست جامعه‌محور ai.robots.txt هم بیش از صد عامل هوش مصنوعی را دنبال می‌کند. طبق مستندات Perplexity، هیچ‌کدام از PerplexityBot و Perplexity-User برای آموزش مدل نیستند.
گوگل، AI Overviews و Google-Extended؛ مسیری جدا از بقیه
گوگل برخلاف OpenAI و Anthropic ربات جداگانه‌ای برای «جستجوی هوش مصنوعی» ندارد. AI Overviews و AI Mode از همان ایندکسی ساخته می‌شوند که Googlebot می‌سازد. نتیجهٔ عملی این است:
- Googlebot: بستنش یعنی حذف از جستجوی گوگل و همهٔ ویژگی‌های هوش مصنوعی‌اش. هیچ‌وقت برای «کنترل هوش مصنوعی» آن را بلاک نکنید.
- Google-Extended: یک توکن در robots.txt است، نه ربات جدا و نه user-agent مستقل در لاگ. طبق توضیح‌های منتشرشده، آموزش و grounding جمینای (اپلیکیشن و API) را کنترل می‌کند و روی رتبه یا حضور در AI Overviews اثر ندارد.
- کنترل نمایش: برای محدود کردن استفاده از متن در ویژگی‌های جستجو، کنترل‌های پیش‌نمایش مثل
nosnippet،max-snippetوdata-nosnippetبه کار می‌روند؛ اما همان‌ها پیش‌نمایش معمولی در نتایج را هم کم می‌کنند.
طبق راهنمای رسمی گوگل برای بهینه‌سازی ویژگی‌های هوش مصنوعی جستجو، صفحه باید ایندکس شده و واجد شرایط نمایش snippet باشد. گوگل همان‌جا می‌گوید برای حضور در این ویژگی‌ها به markup یا فایل ویژهٔ هوش مصنوعی نیاز ندارید. پس پایه همان سئوی فنی است: صفحهٔ خزیدنی، ایندکس‌شده و محتوای اصیل. اگر سایتتان تصویرمحور است، راهنمای جستجوی چندوجهی گوگل را هم ببینید.
کدام استراتژی robots.txt برای هوش مصنوعی مناسب سایت شما است؟
| استراتژی | ربات‌های آموزشی | جستجو و درخواست کاربر | مناسب برای |
|---|---|---|---|
| ۱) حداکثر دیده‌شدن | مجاز | مجاز | سایت‌های خدماتی، فروشگاه‌ها و برندهایی که اولویتشان شناخته‌شدن و ترافیک ارجاعی است |
| ۲) دیده‌شدن بدون آموزش | بسته | مجاز | وبلاگ‌ها، رسانه‌ها و سایت‌های آموزشی و تحلیلی که محتوایشان دارایی اصلی است |
| ۳) بستن کامل | بسته | بسته | محتوای پولی، اختصاصی یا حساس (همراه با احراز هویت واقعی، نه فقط robots.txt) |
برای بیشتر سایت‌های تولید محتوا، استراتژی ۲ نقطهٔ شروع منطقی است: هم در پاسخ‌های جستجوی هوش مصنوعی دیده می‌شوید، هم صریحاً اعلام کرده‌اید محتوایتان برای آموزش مدل‌ها نباشد. دو نکتهٔ صادقانه دربارهٔ آن هست. اول اینکه بستن ربات آموزشی روی محتوایی که قبلاً جمع‌آوری شده اثر عقب‌گرد ندارد و فقط تصمیم آینده را اعلام می‌کند. دوم اینکه robots.txt یک درخواست است، نه قفل (بخش امنیت را ببینید).
سه سؤال برای تصمیم‌گیری
- آیا درآمد شما مستقیم از خودِ محتوا می‌آید (اشتراک، تبلیغ، دورهٔ آموزشی)؟ اگر بله، استراتژی ۲ یا ۳.
- آیا دیده‌شدن در پاسخ‌های ChatGPT، Claude و Perplexity برای جذب مشتری مهم است؟ اگر بله، ربات‌های جستجو را نبندید.
- آیا بخشی از سایت خصوصی یا پولی است؟ اگر بله، robots.txt کافی نیست؛ احراز هویت و قوانین فایروال لازم است.
قوانین نوشتن درست robots.txt برای هوش مصنوعی؛ اشتباه‌های رایج
هر ربات فقط یک گروه را می‌خواند
طبق استاندارد robots.txt (RFC 9309)، هر ربات دقیق‌ترین گروه مطابق با نام خودش را انتخاب می‌کند و قوانین گروه User-agent: * را به آن اضافه نمی‌کند. یعنی اگر برای یک ربات گروه جدا بنویسید، قانون‌های عمومی دیگر دربارهٔ آن اعمال نمی‌شوند:
User-agent: *
Disallow: /wp-admin/
User-agent: OAI-SearchBot
Allow: /
# OAI-SearchBot دیگر از قانون /wp-admin/ خبر نداردراهحل ساده این است که قوانین لازم را در هر گروه تکرار کنید یا چند User-agent با قوانین یکسان را پشت‌سرهم در یک گروه بنویسید؛ مولد پایین همین کار را می‌کند.
Disallow جلوی خزش را می‌گیرد، نه جلوی ایندکس را
صفحه‌ای که در robots.txt بسته شده ممکن است همچنان بدون محتوا و فقط با آدرس در نتایج دیده شود. برای خارج کردن از نتایج، از noindex (متا یا هدر X-Robots-Tag) استفاده کنید و صفحه را برای خزش باز بگذارید تا ربات بتواند دستور noindex را ببیند.
محل، اندازه و ظاهر فایل
- فایل باید در ریشهٔ دامنه باشد (
/robots.txt) و هر زیردامنه فایل خودش را دارد. - متن ساده با کدگذاری UTF-8؛ گوگل فقط ۵۰۰ کیلوبایت اول فایل را پردازش می‌کند.
- آدرس Sitemap را کامل و با https بنویسید.
- Crawl-delay استاندارد نیست: Anthropic آن را پشتیبانی می‌کند، اما Googlebot آن را نادیده می‌گیرد و PerplexityBot هم طبق گزارش‌ها پشتیبانی نمی‌کند.
مولد زندهٔ robots.txt برای هوش مصنوعی
گزینه‌ها را انتخاب کنید و کد آمادهٔ robots.txt را بگیرید. قوانین عمومی در همهٔ گروه‌ها تکرار می‌شوند تا مشکل «یک گروه» پیش نیاید. پیش‌فرض ابزار، استراتژی ۲ است.
# Default rules for all other crawlers (including Googlebot)
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Bytespider
Disallow: /
# AI search crawlers
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# User-triggered fetchers
User-agent: ChatGPT-User
User-agent: Claude-User
User-agent: Perplexity-User
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://example.com/sitemap_index.xmlیادآوری: ChatGPT-User و Perplexity-User ممکن است robots.txt را اعمال نکنند، پس بسته‌بودنشان در فایل ضمانت فنی نیست.
پیاده‌سازی robots.txt برای هوش مصنوعی در وردپرس و Rank Math
- اگر فایل فیزیکی robots.txt در ریشهٔ هاست دارید، همان را ویرایش کنید؛ فایل فیزیکی جلوی نسخهٔ مجازی وردپرس و افزونه‌ها را می‌گیرد.
- در غیر این صورت، در Rank Math معمولاً از مسیر Rank Math SEO ← General Settings ← Edit robots.txt می‌توانید فایل را ویرایش کنید.
- کد مولد را جایگزین کنید، اما قوانین فعلی ووکامرس و مسیرهای لاگ را اگر دارید حذف نکنید.
- کش سایت و CDN را پاک کنید (LiteSpeed، WP Rocket، Cloudflare و مشابه).
- آدرس
/robots.txtرا در مرورگر باز کنید و مطمئن شوید همان متن جدید نمایش داده می‌شود. - در Google Search Console گزارش robots.txt را باز کنید تا خطای نحوی یا مشکل دریافت فایل را ببینید.
مشکل پنهان در robots.txt برای هوش مصنوعی: فایروال، CDN و افزونهٔ امنیتی
robots.txt برای هوش مصنوعی حتی اگر درست نوشته شده باشد، وقتی فایده ندارد که درخواست ربات قبل از رسیدن به وردپرس بسته شود. قانون‌های مدیریت ربات در CDN، افزونه‌های امنیتی، محدودیت نرخ درخواست در هاست یا ModSecurity ممکن است ربات‌های جستجوی هوش مصنوعی را با کد ۴۰۳ یا ۴۲۹ برگردانند، در حالی که robots.txt آن‌ها را مجاز کرده است. این رایج‌ترین دلیل «ما مجازشان کرده‌ایم ولی نمی‌آیند» است. برای بررسی:
- لاگ دسترسی سرور را برای نام ربات‌ها (OAI-SearchBot، Claude-SearchBot، PerplexityBot و ClaudeBot) جست‌وجو کنید و کد پاسخ‌ها را ببینید.
- یک تست تقریبی با curl بزنید و ببینید فایروال پاسخ ۲۰۰ می‌دهد یا ۴۰۳.
- اگر ربات واقعاً مجاز است، قاعدهٔ WAF را هم با نام ربات و هم با IP رسمی بنویسید، نه فقط با user-agent.
- بلاک بر اساس IP را برای رباتی که می‌خواهید robots.txt را بخواند ننویسید؛ Anthropic هشدار می‌دهد این کار ممکن است جلوی خواندن خود فایل را هم بگیرد.
curl -I -A 'OAI-SearchBot' https://example.com/
curl -I -A 'ClaudeBot' https://example.com/robots.txtاین تست فقط تقریبی است، چون user-agent واقعی ربات‌ها طولانی‌تر است. برای تأیید هویت یک درخواست مشکوک، IP را با فهرست رسمی تطبیق دهید: OpenAI فهرست‌های openai.com/searchbot.json، openai.com/gptbot.json و openai.com/chatgpt-user.json را منتشر می‌کند، Perplexity هم برای PerplexityBot و Perplexity-User فهرست جدا دارد و گوگل روش تأیید با reverse DNS و فهرست IP برای Googlebot ارائه می‌دهد. طبق منابعی که دیدیم، Anthropic فهرست IP برای ClaudeBot منتشر نمی‌کند، پس آنجا باید به user-agent و الگوی رفتار تکیه کنید.
robots.txt برای هوش مصنوعی قفل نیست؛ یک درخواست مؤدبانه است
ربات‌های معتبر robots.txt را می‌خوانند، اما خزندهٔ ناشناس یا مخرب هیچ تعهدی ندارد. ربات‌های «درخواست کاربر» هم در چند سرویس از قاعده مستثنا شده‌اند. اگر محتوا واقعاً خصوصی یا پولی است:
- پشت ورود کاربر و احراز هویت بگذارید، نه فقط Disallow.
- برای رباتی که هویتش را تأیید کرده‌اید، قاعدهٔ WAF بنویسید و برای بقیه محدودیت نرخ بگذارید.
- هر زیردامنه و هر پروتکل را جدا بررسی کنید؛ staging و پیش‌نمایش‌ها نباید عمومی باشند.
llms.txt چیست و آیا ارزش وقت دارد؟
llms.txt چیست؟
llms.txt یک فایل Markdown در آدرس /llms.txt است که در پروژهٔ llmstxt.org پیشنهاد شد. ایده این است که یک «نقشهٔ مرتب» از مهم‌ترین صفحات سایت با توضیح کوتاه در اختیار مدل‌ها بگذارید. این فایل جای robots.txt را نمی‌گیرد: robots.txt می‌گوید چه کسی اجازهٔ خزش دارد، و llms.txt (در صورت استفادهٔ یک سیستم) می‌گوید کدام صفحه‌ها مهم‌اند.
شواهد واقعی تا امروز
- گوگل: راهنمای رسمی بهینه‌سازی ویژگی‌های هوش مصنوعی جستجو (منتشرشده در ۱۵ مه ۲۰۲۶ و شفاف‌تر شده در ۱۵ ژوئن ۲۰۲۶) می‌گوید برای حضور در Google Search، از جمله AI Overviews و AI Mode، به llms.txt نیاز نیست. داشتنش را هم منع نمی‌کند و می‌گوید جستجوی گوگل آن را نادیده می‌گیرد. جان مولر هم قبلاً آن را با متای keywords مقایسه کرده بود.
- مطالعه‌های مستقل: طبق گزارش‌های منتشرشده از مطالعهٔ Ahrefs روی حدود ۱۳۷ هزار دامنه، ۹۷٪ فایل‌های llms.txt هیچ بازدیدی از خزنده‌های هوش مصنوعی نگرفته‌اند. تحلیل ALLMO.ai هم از ۹۴٬۶۱۴ آدرس ارجاع‌داده‌شده در پاسخ‌های هوش مصنوعی فقط یکی را صفحهٔ llms.txt دیده است. این‌ها تحلیل‌های شخص ثالث‌اند، نه مستند رسمی.
- شرکت‌های هوش مصنوعی: در منابعی که بررسی کردیم، OpenAI، Anthropic و Perplexity رسماً نگفته‌اند که در پاسخ‌گویی به llms.txt تکیه می‌کنند.
- جاهایی که معنی دارد: گزارش‌ها می‌گویند دستیارهای کدنویسی و ابزارهای مرورگر عامل‌محور گاهی آن را می‌خوانند و Lighthouse کروم در یک ممیزی آزمایشی «Agentic Browsing» وجود آن را بررسی می‌کند. پس برای مستندات فنی، API و ابزارهای SaaS هزینهٔ کم و فایدهٔ احتمالی دارد.
جمع‌بندی ما
llms.txt را «اهرم رتبه» ندانید. اگر robots.txt، نقشهٔ سایت، سرعت و محتوای اصیل را درست کرده‌اید و می‌خواهید مستندات یا راهنماهایتان برای ابزارهای عامل‌محور مرتب‌تر باشد، ساختن آن حدود نیم‌ساعت وقت می‌برد و ضرری ندارد. نمونهٔ ساختار ساده (آدرس‌ها برای مثال از همین سایت‌اند):
# SYVO
> Persian-language guides on AI agents, GEO, SEO and web development.
## Guides
- [Agent-Ready Website](https://syvo.ir/ai-agent-ready-website/): How to prepare a site for AI agents
- [WebMCP explained](https://syvo.ir/webmcp/): What WebMCP is and where it helps
- [WebMCP form tutorial](https://syvo.ir/webmcp-form-tutorial/): Turn HTML forms into agent tools
- [Multimodal search](https://syvo.ir/multimodal-search/): Google multimodal search guide
## Optional
- [SYVO TV](https://syvo.ir/blog/): All evergreen guidesهفت اشتباه رایج در robots.txt برای هوش مصنوعی
- بستن همهٔ ربات‌های هوش مصنوعی با یک قانون کلی و بعد تعجب از نبودن در پاسخ‌های ChatGPT و Perplexity.
- فرض اینکه بلاک GPTBot یعنی حذف از ChatGPT. جستجوی ChatGPT با OAI-SearchBot کار می‌کند.
- جا ماندن
Disallow: /برایUser-agent: *از دورهٔ ساخت سایت یا staging. - تعریف گروه جدا برای یک ربات و فراموش کردن تکرار قانون‌های عمومی (wp-admin، سبد خرید).
- تکیه بر robots.txt برای محتوای خصوصی یا پولی.
- بلاک IP رباتی که باید robots.txt را بخواند، یا قانون فایروال که ربات مجاز را برمی‌گرداند.
- تغییر فایل بدون پاک کردن کش، بدون Sitemap و بدون تست بعد از انتشار.
پایش: چطور بفهمیم ربات‌ها واقعاً می‌آیند؟
بعد از انتشار، به‌جای حدس زدن، داده ببینید. لاگ سرور را ماهی یک بار برای ربات‌های بالا فیلتر کنید و کد پاسخ را بررسی کنید. برای Googlebot گزارش Crawl Stats در Search Console را ببینید. در آنالیتیکس هم ترافیک ارجاعی از دامنه‌هایی مثل chatgpt.com و perplexity.ai را جدا دنبال کنید تا بدانید آیا دیده‌شدن در جستجوی هوش مصنوعی به بازدید واقعی تبدیل می‌شود. نام و رفتار ربات‌ها تغییر می‌کند، پس همین بررسی را هر چند ماه تکرار کنید. بقیهٔ آماده‌سازی فنی را در راهنمای Agent-Ready Website و برای تعامل مستقیم عامل‌ها با فرم‌ها در آموزش WebMCP روی فرم‌ها ببینید. اگر هنوز با خود WebMCP آشنا نیستید، وب‌ام‌سی‌پی چیست؟ نقطهٔ شروع خوبی است.
چک‌لیست هشت‌مرحله‌ای robots.txt برای هوش مصنوعی قبل از انتشار
- استراتژی را انتخاب کنید: حداکثر دیده‌شدن، دیده‌شدن بدون آموزش یا بستن کامل.
- ربات‌های آموزشی، جستجو و درخواست کاربر را در گروه‌های جدا بنویسید.
- قانون‌های عمومی (wp-admin، سبد خرید) را در هر گروه تکرار کنید.
- آدرس کامل Sitemap را اضافه کنید.
- فایل را منتشر کنید، کش را پاک کنید و
/robots.txtرا در مرورگر ببینید. - گزارش robots.txt در Search Console را بدون خطا ببینید.
- لاگ و قانون‌های فایروال را برای ربات‌های مجاز بررسی کنید.
- یک یادآوری سه‌ماهه بگذارید تا فهرست ربات‌ها و مستندات رسمی را دوباره نگاه کنید.
سؤال‌های متداول
آیا بلاک کردن GPTBot باعث حذف سایت از ChatGPT می‌شود؟
نه. GPTBot ربات آموزشی است. نمایش در جستجوی ChatGPT به OAI-SearchBot وابسته است و OpenAI تصریح می‌کند این دو مستقل از هم تنظیم می‌شوند.
اگر OAI-SearchBot را ببندم چه می‌شود؟
طبق OpenAI، سایتی که OAI-SearchBot را رد کرده در پاسخ‌های جستجوی ChatGPT نشان داده نمی‌شود، هرچند ممکن است همچنان به‌صورت لینک ناوبری ظاهر شود.
آیا Google-Extended روی رتبه یا AI Overviews اثر دارد؟
طبق توضیح‌های منتشرشده، نه. این توکن فقط آموزش و grounding جمینای را کنترل می‌کند. AI Overviews از ایندکس Googlebot تغذیه می‌شود.
آیا باید حتماً llms.txt بسازم؟
برای گوگل لازم نیست و تا امروز شواهد روشنی از تأثیر آن بر ارجاع در جستجوی هوش مصنوعی نیست. برای مستندات فنی و ابزارهای عامل‌محور می‌تواند کم‌هزینه و مفید باشد.
آیا robots.txt جلوی ChatGPT-User را می‌گیرد؟
OpenAI می‌گوید چون این درخواست‌ها به‌دست کاربر آغاز می‌شوند، ممکن است قانون robots.txt اعمال نشود. Anthropic می‌گوید بلاک Claude-User را رعایت می‌کند و Perplexity می‌گوید Perplexity-User معمولاً robots.txt را نادیده می‌گیرد.
تغییر robots.txt چقدر طول می‌کشد تا اعمال شود؟
زمان ثابتی وجود ندارد و هر سرویس فایل را با ریتم خودش دوباره می‌خواند؛ معمولاً از چند ساعت تا چند روز. بعد از تغییر، فایل را تست کنید و هیچ‌چیز را فوری فرض نکنید.
آیا زیردامنه‌ها هم از robots.txt اصلی استفاده می‌کنند؟
نه. هر زیردامنه و هر پروتکل robots.txt مخصوص خودش را دارد.
می‌شود از آموزش مدل‌ها بیرون ماند ولی در جستجو دیده شد؟
بله، همین استراتژی ۲ است: ربات‌های آموزشی (GPTBot، ClaudeBot، Google-Extended) بسته و ربات‌های جستجو و درخواست کاربر مجاز.
منابع
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web?
- Perplexity: Crawlers
- Google Search Central: Google crawlers overview
- RFC 9309: Robots Exclusion Protocol
- llmstxt.org
- Search Engine Journal: Google says it is fine to use llms.txt
- Search Engine Journal: Google llms.txt guidance depends on the product
- ALLMO.ai: LLMs.txt for AI Search Report
اگر می‌خواهید robots.txt برای هوش مصنوعی، فایروال و آمادگی سایتتان برای ربات‌ها و عامل‌های هوش مصنوعی را کارشناسی بررسی کنیم، از طریق سایوو با ما در تماس باشید.
این مقاله را در چند نکته بخوان
- برای دیده‌شدن در جستجوی هوش مصنوعی (مانند ChatGPT و Claude)، باید ربات‌های جستجو مانند OAI-SearchBot، Claude-SearchBot و PerplexityBot را مجاز بگذارید.
- گوگل ربات جداگانه‌ای برای جستجوی هوش مصنوعی ندارد و ویژگی‌هایی مانند AI Overviews از طریق ایندکس استاندارد Googlebot و توکن Google-Extended (برای کنترل آموزش جمینای) مدیریت می‌شوند.
- فایل llms.txt یک نقشه پیشنهادی ساده از صفحات مهم است، اما گوگل و موتورهای جستجوی اصلی آن را نادیده می‌گیرند و اجباری برای سئو یا هوش مصنوعی محسوب نمی‌شود.
- خطای رایج در تنظیم فایل robots.txt این است که با تعریف گروه جدید برای یک ربات، قوانین عمومی (مانند بستن wp-admin) فراموش می‌شوند و باید در هر گروه تکرار گردند.
- فایل robots.txt تنها یک درخواست مؤدبانه است و برای محافظت واقعی از محتوای حساس یا پولی، باید از احراز هویت و تنظیمات فایروال (WAF) استفاده کرد.
سؤالت را از همین مقاله بپرس
پاسخ‌ها فقط بر اساس محتوای همین مقاله تولید می‌شوند.
