| پاسخ کوتاه
موتورهای هوش مصنوعی «یک الگوریتم انتخاب منبع» ندارند؛ یک خط لوله دارند. اول تصمیم می‌گیرند از حافظه‌ی مدل جواب بدهند یا جست‌وجو کنند. اگر جست‌وجو کنند، بسته به محصول از نمایه‌ی خودشان، گاهی از ارائه‌دهندگان دیگر جست‌وجو و گاهی از دریافت زنده‌ی صفحه چند سند را بازیابی می‌کنند، آن‌ها را دوباره مرتب می‌کنند، بخشی را وارد «زمینه‌ی» مدل می‌کنند و از روی همان متن‌ها پاسخ و ارجاع می‌سازند. مستندات رسمی فقط بخشی از این مسیر را روشن کرده‌اند و معیارهای «ارزیابی» منبع (اعتبار، تازگی، اقتدار) در بیشتر محصول‌ها منتشر نشده است. پژوهش‌های مستقل نشان می‌دهند ارجاع‌ها همیشه قابل اتکا نیستند. در یک مرور انتقادی از ۴۵ مطالعه (پیش‌چاپ، ۲۰۲۶) هم شاهدی برای اثر پایدار و چندپلتفرمی هیچ تکنیک بهینه‌سازی روی دیده‌شدن ارگانیک پیدا نشد. این یعنی «شاهدی پیدا نشده»، نه «ثابت شده که اثری وجود ندارد». |
| شواهد را چطور بخوانیم؟
کنار هر ادعای مهم نشانگری مثل [۱۴ · سطح ۲ · ۲۰۲۳] می‌بینید: شماره‌ی منبع در فهرست پایان مقاله، سطح شواهد و سال یا بازه‌ی زمانی آن. نشانگر کلیک‌پذیر است و به خود منبع می‌رود. سطح ۱: مستندات رسمی شرکت‌ها · سطح ۲: مقالات داوری‌شده · سطح ۳: مدارک حقوقی · سطح ۴: تحلیل یا گزارش صنعتی · داوری‌نشده: پیش‌چاپ. یک تمایز مهم: مستندات رسمی درباره‌ی «سازوکار» (هر خزنده چه می‌کند) منبع موثقی‌اند. اما درباره‌ی «اثربخشی» (چه کاری نتیجه می‌دهد) گفته‌ی شرکتی‌اند که خود در آن ذی‌نفع است و شاهد مستقل نیستند؛ چنین گزاره‌هایی در متن «ادعای رسمی» نامیده شده‌اند. اسناد لورفته استفاده نشده‌اند و استنباط‌های نویسنده با برچسب «تحلیل نویسنده» جدا شده‌اند. این مقاله مستقل است؛ لینک‌های داخلی فقط برای مطالعه‌ی بیشتر آمده‌اند. |
| در این مقاله
«انتخاب منبع» دقیقاً یعنی چه؟ · خط لوله‌ی انتخاب منبع · خزنده‌ها و پیدا کردن منبع · بازیابی · ارزیابی منبع · ورود به پاسخ · اعتمادپذیری ارجاع‌ها · آیا می‌شود بهینه کرد؟ · فهرست عملی · محتوای فارسی · پرسش‌های متداول · جمع‌بندی · محدودیت‌ها · فهرست منابع |
انتخاب منبع برای یک موتور هوش مصنوعی دقیقاً یعنی چه؟
یک مدل زبانی بزرگ از دو جا دانش می‌گیرد: آنچه هنگام آموزش در پارامترهایش ذخیره شده و آنچه در لحظه‌ی پرسش به‌صورت متن در اختیارش گذاشته می‌شود. «انتخاب منبع» فقط درباره‌ی حالت دوم معنا دارد. در این حالت، پیش از نوشتن پاسخ، سامانه از یک نمایه (ایندکس) چند سند یا بخشی از سند را بیرون می‌کشد و مدل پاسخ را از روی همان متن‌ها می‌نویسد. در ادبیات پژوهشی این معماری RAG یا «تولید با بازیابی‌افزوده» نام دارد و با همین نام در مقاله‌ی Lewis و همکاران (۲۰۲۰) معرفی شد. [۹ · سطح ۲ · ۲۰۲۰]
گوگل هم در راهنمای رسمی خود همین منطق را توصیف می‌کند: ویژگی‌های هوش مصنوعی مولد جست‌وجو بر پایه‌ی زمین‌گیری (grounding) در صفحات ایندکس‌شده‌ی خود گوگل کار می‌کنند و ممکن است برای جمع‌آوری نتایج بیشتر چند پرسش مرتبط را هم‌زمان اجرا کنند. [۲ · سطح ۱ · ۲۰۲۶]
«نمایه‌ی خودِ موتور» همه‌ی ماجرا نیست. طبق راهنمای رسمی OpenAI، جست‌وجوی ChatGPT گاهی با ارائه‌دهندگان دیگر جست‌وجو همکاری می‌کند و پرسش کاربر را معمولاً به یک یا چند پرسش هدفمند بازنویسی می‌کند و برای آن‌ها می‌فرستد. [۵ · سطح ۱ · ۲۰۲۶] پس «کدام صفحه‌ها در دسترس‌اند» به محصول بستگی دارد. برای Claude و Perplexity، در صفحه‌های بررسی‌شده‌ی این مقاله، توضیحی درباره‌ی منبع نتایج جست‌وجو پیدا نشد.
یک تمثیل کمک می‌کند. موتور هوش مصنوعی شبیه دانشجویی است که امتحانش «کتاب‌باز» است. اول تصمیم می‌گیرد اصلاً کتاب را باز کند یا نه. بعد فهرست را می‌گردد (گاهی فهرست کتابخانه‌ی دیگری را)، چند فصل را علامت می‌زند، از میان آن‌ها فقط چند صفحه را روی میز می‌گذارد و جواب را از همان صفحه‌ها می‌نویسد. اگر صفحه‌ی درست روی میز نباشد، دانشجو هر قدر هم زرنگ باشد از آن استفاده نمی‌کند. بخش بزرگی از «رقابت برای ارجاع» در واقع رقابت برای رسیدن به همین میز است.
برای ریشه‌ی فنی این ایده‌ها (توکن، امبدینگ و attention) می‌توانید مقاله هوش مصنوعی محتوا را چطور می‌خواند و می‌فهمد؟ را هم ببینید؛ اما برای فهم ادامه‌ی این متن لازم نیست.
خط لوله‌ی انتخاب منبع چه مرحله‌هایی دارد؟
مرور انتقادی Martinez (۴۵ مطالعه از نوامبر ۲۰۲۳ تا ژوئیه ۲۰۲۶) استدلال می‌کند که بهینه‌سازی برای موتورهای مولد یک مسئله‌ی «رتبه‌بندی» ساده نیست؛ یک خط لوله‌ی چندمرحله‌ای و تا حدی غیرقابل‌مشاهده است که از فعال‌شدن جست‌وجو شروع می‌شود و تا ارجاع و رفتار کاربر ادامه دارد. [۱۹ · داوری‌نشده · ۲۰۲۶] این یک چارچوب پژوهشی است و پیش‌چاپ است، نه معماری منتشرشده‌ی یک محصول مشخص؛ برای همین در جدول زیر برای هر مرحله نوشته‌ام چه چیزی واقعاً مستند است.
| مرحله | چه اتفاقی می‌افتد؟ | چقدر مستند است؟ |
| ۱. فعال‌شدن جست‌وجو | موتور تصمیم می‌گیرد پاسخ را از حافظه بدهد یا جست‌وجو کند. | فقط در چارچوب مرور پژوهشی؛ منطق تصمیم در هیچ‌یک از مستندات بررسی‌شده نیامده. |
| ۲. خزش و ایندکس | صفحه باید توسط خزنده‌ای دیده و در نمایه ذخیره شود. | مستندات رسمی (سطح ۱). |
| ۳. بازیابی | از نمایه یا ارائه‌دهنده‌ی جست‌وجو چند سند بیرون کشیده می‌شود؛ گاهی با چند پرسش هم‌زمان. | منطق کلی در مستندات و پژوهش‌ها؛ وزن‌دهی داخلی محصولات نامعلوم. تنها شاهد حقوقی: سیستم زمین‌گیری Gemini در حکم ۲۰۲۵. |
| ۴. بازرتبه‌بندی و چینش زمینه | کاندیداها دوباره مرتب می‌شوند و بخشی وارد پنجره‌ی زمینه‌ی مدل می‌شود. | اثر جایگاه در پژوهش داوری‌شده سنجیده شده؛ جزئیات محصولات نامعلوم. |
| ۵. تولید پاسخ و ارجاع | مدل از روی متن‌های داده‌شده می‌نویسد و منبع‌ها را کنار جمله‌ها می‌گذارد. | وفاداری ارجاع‌ها در دو پژوهش (۲۰۲۳ و ۲۰۲۵) سنجیده شده است. |
| ۶. جذب و رفتار کاربر | کاربر ارجاع را می‌بیند، می‌خواند یا کلیک می‌کند. | شاهد پایدار درباره‌ی اثر روی ترافیک در مرور Martinez پیدا نشد. |
تصویر زیر همین خط لوله را به‌صورت یک قیف نشان می‌دهد: هر مرحله بخشی از صفحه‌ها را کنار می‌گذارد و فقط چند صفحه تا پایین می‌رسند.
| ۱ · فعال‌شدن جست‌وجو: اصلاً جست‌وجو شود؟ |
| ۲ · خزش و ایندکس: صفحه دیده و ذخیره شده است؟ |
| ۳ · بازیابی: جزو کاندیداها هست؟ |
| ۴ · بازرتبه‌بندی و زمینه: روی «میز» مدل می‌نشیند؟ |
| ۵ · تولید و ارجاع: در پاسخ می‌آید؟ |
| ۶ · کاربر: دیده یا کلیک می‌شود؟ |
نتیجه‌ی عملی: «رتبه» به معنای یک عدد واحد وجود ندارد. صفحه‌ای می‌تواند مرحله‌ی ۲ را بگذراند و در مرحله‌ی ۴ کنار گذاشته شود. Martinez به جای یک رتبه از «بردار دیده‌شدن» حرف می‌زند، یعنی وضعیت یک صفحه در تک‌تک این مرحله‌ها. [۱۹ · داوری‌نشده · ۲۰۲۶]
چرا مرحله‌ی ۱ و ۶ بخش جدا ندارند؟
چون شاهد بررسی‌شده‌ی کافی برایشان نبود. درباره‌ی مرحله‌ی ۱ هیچ‌یک از مستندات رسمی بررسی‌شده نمی‌گویند موتور چه موقع به جست‌وجو متوسل می‌شود. درباره‌ی مرحله‌ی ۶ هم تنها نتیجه‌ی قابل‌استناد این است که در مرور Martinez شاهدی برای اثر پایدار روی کشف‌شدن ارگانیک پیدا نشد. [۱۹ · داوری‌نشده · ۲۰۲۶] ترجیح دادم جای هر دو را در نقشه نگه دارم و کمبود شاهد را صریح بنویسم، نه اینکه خلأ را با حدس پر کنم.
موتور منابع را از کجا پیدا می‌کند و کدام خزنده چه کاری می‌کند؟
مستندات شرکت‌ها چند نقش را از هم جدا می‌کنند: آموزش مدل (مثل GPTBot و ClaudeBot)، ساخت نمایه‌ی جست‌وجو (مثل OAI-SearchBot، Claude-SearchBot و PerplexityBot) و دریافت صفحه به درخواست کاربر (ChatGPT-User، Claude-User، Perplexity-User). OpenAI یک نقش چهارم هم دارد: بررسی ایمنی صفحات فرودِ تبلیغات (OAI-AdsBot). اما همه‌ی شرکت‌ها همه‌ی نقش‌ها را ندارند. Perplexity طبق مستنداتش خزنده‌ای برای آموزش مدل‌های پایه معرفی نمی‌کند. [۷ · سطح ۱ · ۲۰۲۶] در گوگل هم ویژگی‌های هوش مصنوعی جست‌وجو از همان نمایه‌ی جست‌وجو تغذیه می‌شوند، نه از نمایه‌ی جدا. [۲ · سطح ۱ · ۲۰۲۶]
| سرویس | نام یا محل کنترل | نقش طبق مستندات خود شرکت | نکته‌ی مهم |
| OpenAI | GPTBot | خزش محتوایی که ممکن است برای آموزش مدل‌های مولد استفاده شود. | Disallow کردن آن یعنی محتوا نباید در آموزش استفاده شود. [۴ · سطح ۱ · ۲۰۲۶] |
| OpenAI | OAI-SearchBot | مخصوص جست‌وجو؛ نمایش سایت‌ها در قابلیت‌های جست‌وجوی ChatGPT. | سایتِ انصراف‌داده در پاسخ‌های جست‌وجوی ChatGPT نمی‌آید (ولی ممکن است به‌صورت لینک ناوبری بیاید). اعمال تغییر حدود ۲۴ ساعت زمان می‌برد. [۴ · سطح ۱ · ۲۰۲۶] |
| OpenAI | ChatGPT-User | اقدامات آغازشده توسط کاربر در ChatGPT و GPTهای سفارشی. | OpenAI می‌گوید ممکن است قواعد robots.txt برای آن اعمال نشود. [۴ · سطح ۱ · ۲۰۲۶] |
| OpenAI | OAI-AdsBot | بررسی ایمنی صفحات فرودِ ثبت‌شده برای تبلیغات. | فقط صفحات ثبت‌شده به‌عنوان تبلیغ؛ داده‌اش برای آموزش استفاده نمی‌شود. [۴ · سطح ۱ · ۲۰۲۶] |
| Anthropic | ClaudeBot | گردآوری محتوای وب که ممکن است به آموزش کمک کند. | مسدودکردن یعنی محتوای آینده از مجموعه‌داده‌های آموزش کنار گذاشته شود. [۶ · سطح ۱ · ۲۰۲۶] |
| Anthropic | Claude-SearchBot | بهبود کیفیت نتایج جست‌وجو برای کاربران. | مسدودکردن مانع ایندکس شدن برای جست‌وجو می‌شود و ممکن است دیده‌شدن را کم کند. [۶ · سطح ۱ · ۲۰۲۶] |
| Anthropic | Claude-User | پشتیبانی از کاربران Claude. | مسدودکردن مانع بازیابی محتوا هنگام پرسش کاربر می‌شود. [۶ · سطح ۱ · ۲۰۲۶] |
| Perplexity | PerplexityBot | نمایش و لینک‌دادن سایت‌ها در نتایج Perplexity. | طبق مستندات برای آموزش مدل‌های پایه نیست. [۷ · سطح ۱ · ۲۰۲۶] |
| Perplexity | Perplexity-User | اقدامات کاربر در Perplexity. | مستندات می‌گویند عموماً robots.txt را نادیده می‌گیرد، چون کاربر خودش درخواست داده است. [۷ · سطح ۱ · ۲۰۲۶] |
| robots.txt برای Googlebot | کنترل خزش برای جست‌وجو. | برای حضور در AI Overviews و AI Mode صفحه باید ایندکس باشد و واجد نمایش همراه با snippet. [۱ · سطح ۱ · ۲۰۲۵] | |
| Google-Extended (کنترل در robots.txt) | محدودکردن آموزش و grounding در برخی سیستم‌های دیگر گوگل. | جدا از کنترل ویژگی‌های جست‌وجو است. [۱ · سطح ۱ · ۲۰۲۵] | |
| تنظیم Search generative AI control در Search Console | تعیین اینکه محتوای سایت در AI Overviews، AI Mode و بخش‌های مولد Discover به‌کار رود یا نه. | روی آموزش مدل اثری ندارد. طبق صفحه‌ی راهنما، از ۳۱ اوت ۲۰۲۶ برای همه‌ی وب‌سایت‌ها در جهان فعال شده است. [۳ · سطح ۱ · ۲۰۲۶] | |
| Microsoft | robots.txt و سازوکارهای پشتیبانی‌شده‌ی دیگر | گزارش AI Performance استنادهای Copilot، خلاصه‌های هوش مصنوعی Bing و برخی شرکای منتخب را نشان می‌دهد. | Bing می‌گوید به ترجیحات صاحب محتوا از راه robots.txt و سازوکارهای پشتیبانی‌شده‌ی دیگر احترام می‌گذارد. [۸ · سطح ۱ · ۲۰۲۶] |
از این جدول چند نتیجه‌ی کاربردی بیرون می‌آید:
- مسدودکردن آموزش با مسدودکردن جست‌وجو یکی نیست. OpenAI تصریح می‌کند تنظیمات هر خزنده مستقل است. [۴ · سطح ۱ · ۲۰۲۶]
- ولی «بستن OAI-SearchBot» هم لزوماً تضمین غیبت کامل نیست. OpenAI می‌گوید برای واجد شرایط شدن در جست‌وجوی ChatGPT باید OAI-SearchBot اجازه‌ی خزش داشته باشد، و در همان حال می‌گوید ChatGPT گاهی با ارائه‌دهندگان دیگر جست‌وجو همکاری می‌کند. [۵ · سطح ۱ · ۲۰۲۶] [۴ · سطح ۱ · ۲۰۲۶] مستندات رابطه‌ی این دو را توضیح نمی‌دهند، پس نتیجه‌ی دقیق مسدودکردن را باید با آزمون خودتان سنجید. [تحلیل نویسنده · استنباط، نه گزارش منبع]
- رعایت robots.txt برای دریافت به درخواست کاربر یکسان نیست. OpenAI و Perplexity می‌گویند این دریافت‌ها ممکن است از robots.txt پیروی نکنند. [۴ · سطح ۱ · ۲۰۲۶] [۷ · سطح ۱ · ۲۰۲۶] Anthropic رعایت robots.txt را برای خزنده‌هایش اعلام می‌کند و برای Claude-User استثنایی ذکر نمی‌کند. [۶ · سطح ۱ · ۲۰۲۶]
- txt یک «درخواست» است، نه دیوار. Cloudflare در اوت ۲۰۲۵ گزارش کرد که Perplexity پس از مسدود شدن، با شناسه‌ی دیگری و از IPهای خارج از بازه‌های اعلام‌شده‌اش خزیده است. این ادعای یک شرکت ذی‌نفع است و در مستندات Perplexity بررسی‌شده‌ی این مقاله مطرح نشده. [۲۴ · سطح ۴ · ۲۰۲۵]
- ایندکس‌شدن شرط اول است. گوگل می‌گوید برای حضور در AI Overviews یا AI Mode صفحه باید ایندکس باشد و واجد نمایش همراه با snippet باشد؛ الزام فنی اضافه‌ای وجود ندارد. [۱ · سطح ۱ · ۲۰۲۵]
از میان میلیون‌ها صفحه، چند سند چگونه بازیابی می‌شوند؟
بازیابی مرحله‌ای است که صفحه‌های «کاندیدا» بیرون کشیده می‌شوند. در پژوهش‌ها دو خانواده‌ی اصلی روش وجود دارد. روش واژگانی (مانند BM25) پرسش و سند را بر اساس واژه‌های مشترک مقایسه می‌کند؛ مثل فهرست واژگان پشت یک کتاب. روش معنایی یا متراکم (dense) هر دو را به بردار تبدیل می‌کند و نزدیکی معنا را می‌سنجد؛ مثل کتابداری که منظور شما را می‌فهمد، حتی اگر دقیقاً همان کلمه‌ها را نگفته باشید.
| روش | بر چه پایه‌ای تطبیق می‌دهد؟ | یافته‌ی مستند | نکته |
| واژگانی (BM25) | همپوشانی واژه‌ها | در آزمون متنوع BEIR یک خط پایه‌ی مقاوم باقی ماند. [۱۱ · سطح ۲ · ۲۰۲۱] | مقاوم است اما معنای مترادف‌ها را نمی‌فهمد. |
| معنایی (Dense) | نزدیکی بردارهای معنایی | در پرسش‌وپاسخ باز، DPR دقت بازیابی ۲۰ نتیجه‌ی برتر را ۹ تا ۱۹ واحد درصد از BM25 قوی بالاتر برد. [۱۰ · سطح ۲ · ۲۰۲۰] | در آزمون صفر-نمونه‌ی BEIR (دامنه‌هایی که مدل برایشان آموزش ندیده) مدل‌های متراکم آن زمان اغلب ضعیف‌تر از رویکردهای دیگر بودند. [۱۱ · سطح ۲ · ۲۰۲۱] |
| ترکیبی و بازرتبه‌بندی | ادغام چند فهرست و بازخوانی دقیق‌تر کاندیداها | ادغام رتبه‌ای متقابل (RRF) روشی عمومی برای ترکیب فهرست‌های چند سیستم است. [۱۲ · سطح ۲ · ۲۰۰۹] | مستند نشده که فلان محصول دقیقاً کدام روش را به‌کار می‌برد. |
هشدار درباره‌ی قدمت: این پژوهش‌ها به سال‌های ۲۰۰۹ تا ۲۰۲۱ برمی‌گردند و درباره‌ی نسل مدل‌های همان زمان‌اند. نتیجه‌ی BEIR درباره‌ی ضعف مدل‌های متراکم را نباید به بازیاب‌های امروزی یا روش‌های ترکیبی جدید تعمیم داد؛ آن‌ها را برای فهم منطق کلی بازیابی آورده‌ام، نه برای ادعا درباره‌ی محصولات امروز.
بازرتبه‌بندی (reranking) مرحله‌ای است که در آن مدلی سنگین‌تر، پرسش و هر کاندیدا را کنار هم می‌خواند و دوباره نمره می‌دهد. نمونه‌ی شناخته‌شده‌ی آن استفاده از BERT برای بازرتبه‌بندی پاساژها است (Nogueira و Cho، ۲۰۱۹). [۲۱ · داوری‌نشده · ۲۰۱۹] این مقاله تکنیک را معرفی می‌کند، نه اینکه ادعا کند محصول خاصی از آن استفاده می‌کند.
query fan-out یعنی چه و چرا مهم است؟
گوگل می‌گوید AI Overviews و AI Mode ممکن است چندین جست‌وجوی مرتبط را در موضوع‌های فرعی و منابع داده‌ی مختلف اجرا کنند تا پاسخ ساخته شود و مجموعه‌ی گسترده‌تری از لینک‌ها نمایش داده شود. [۱ · سطح ۱ · ۲۰۲۵] نتیجه‌ی منطقی: ممکن است صفحه‌ی شما نه برای پرسش اصلی کاربر، بلکه برای یکی از پرسش‌های فرعی بازیابی شود. [تحلیل نویسنده · استنباط، نه گزارش منبع]
دادگاه درباره‌ی سیستم زمین‌گیری گوگل چه گفته است؟
در حکم ۲ سپتامبر ۲۰۲۵ پرونده‌ی ایالات متحده علیه گوگل (قاضی Mehta، سند ۱۴۳۶، بندهای ۴۴ و ۴۵ از یافته‌های واقعی، صفحه‌ی ۳۵ متن چاپی) آمده است که گوگل برای زمین‌گیری مدل‌های Gemini از فناوری اختصاصی‌ای به نام FastSearch استفاده می‌کند. این سیستم بر پایه‌ی سیگنال‌های RankEmbed ساخته شده، نتایج کوتاه‌شده و رتبه‌بندی‌شده تحویل می‌دهد، چون سندهای کمتری بازیابی می‌کند سریع‌تر از جست‌وجوی کامل است، و کیفیت نتایجش از رتبه‌بندی کامل جست‌وجو پایین‌تر توصیف شده است. گوگل FastSearch را مستقیم و از راه API در اختیار اشخاص ثالث نمی‌گذارد؛ مشتریان Vertex AI اطلاعات برگرفته از نتایج را می‌گیرند، نه خودِ نتایج رتبه‌بندی‌شده را. [۲۲ · سطح ۳ · ۲۰۲۵]
دو قید: ۱) این یافته درباره‌ی مدل‌های Gemini است. دادگاه، در بخش بررسی‌شده، آن را به AI Overviews تعمیم نداده و ما هم نباید تعمیم دهیم. ۲) این وضعیت سیستم در زمان شواهد دادگاه (۲۰۲۵) است و ممکن است تغییر کرده باشد. [تحلیل نویسنده · استنباط، نه گزارش منبع]
موتور منبع را چگونه «ارزیابی» می‌کند؟ آنچه مستند است و آنچه نیست
صادقانه‌ترین پاسخ این است: هیچ‌یک از شرکت‌های بررسی‌شده فهرست معیارها یا وزن‌های ارزیابی منبع در پاسخ‌های هوش مصنوعی را منتشر نکرده است. آنچه هست چند جمله‌ی کلی است:
| سرویس | آنچه خودش درباره‌ی ارزیابی گفته | آنچه نگفته |
| ویژگی‌های هوش مصنوعی روی سیستم‌های اصلی رتبه‌بندی و کیفیت جست‌وجو بنا شده‌اند؛ بر محتوای یکتا با تخصص دست‌اول تأکید دارد و تولید انبوه صفحه برای دستکاری را خلاف سیاست «scaled content abuse» می‌داند. [۲ · سطح ۱ · ۲۰۲۶] | وزن و فرمول سیگنال‌ها؛ تفاوت دقیق رتبه‌بندی برای پاسخ هوش مصنوعی و نتایج معمولی. | |
| OpenAI | ChatGPT نتایج جست‌وجو را با چند عامل رتبه‌بندی می‌کند تا کاربر اطلاعات مرتبط و قابل‌اعتماد پیدا کند. [۵ · سطح ۱ · ۲۰۲۶] | خودِ عامل‌ها نام برده نشده‌اند. |
| Microsoft / Bing | صفحات استنادشده برای عبارت‌های grounding اغلب تمرکز موضوعی روشن و تخصص دامنه دارند؛ به‌روز بودن محتوا به ارجاع به آخرین نسخه کمک می‌کند. [۸ · سطح ۱ · ۲۰۲۶] | گزارش AI Performance جایگاه استناد، رتبه یا اهمیت صفحه را نشان نمی‌دهد. |
| Anthropic و Perplexity | در صفحه‌های بررسی‌شده‌ی این مقاله (راهنمای خزنده‌ها) معیار ارزیابی منبع توضیح داده نشده است. [۶ · سطح ۱ · ۲۰۲۶] [۷ · سطح ۱ · ۲۰۲۶] | هر معیاری. |
پژوهش‌ها دو چیز را قابل‌تکرارتر می‌دانند: ارتباط موضوعی و جایگاه سند در زمینه‌ی مدل. [۱۹ · داوری‌نشده · ۲۰۲۶] بنابراین هر نوشته‌ای که «۱۰ معیار قطعی ارجاع‌شدن» را فهرست می‌کند، از مستندات رسمی بیرون نیامده است. [تحلیل نویسنده · استنباط، نه گزارش منبع]
اینکه یک الگوریتم محتوا را اصلاً چگونه «می‌فهمد» پرسش مفهومی‌تری است که در مقاله‌ی Algorithmic Comprehension چیست؟ از دید تحلیل‌گر الگوریتم بررسی شده؛ این مقاله به آن وابسته نیست و فقط مطالعه‌ی تکمیلی است.
بعد از بازیابی، چه چیزی واقعاً وارد پاسخ می‌شود؟
پنجره‌ی زمینه‌ی مدل محدود است و مدل همه‌ی بخش‌های آن را یکسان نمی‌خواند. در پژوهش «Lost in the Middle» عملکرد مدل‌ها وقتی اطلاعات مرتبط در ابتدا یا انتهای ورودی بود بهترین بود و وقتی همان اطلاعات وسط ورودی قرار می‌گرفت به‌طور محسوس افت می‌کرد؛ یعنی منحنی U شکل. [۱۳ · سطح ۲ · ۲۰۲۴] این پژوهش اولین‌بار در ۲۰۲۳ منتشر شد و روی مدل‌های همان زمان انجام شده است؛ مدل‌های جدیدتر ممکن است رفتار متفاوتی داشته باشند.
مرور Martinez هم «ارتباط موضوعی» و «جایگاه در زمینه» را قابل‌تکرارترین اهرم‌های اثرگذاری می‌داند. [۱۹ · داوری‌نشده · ۲۰۲۶] بنچمارک C-SEO نیز نشان داد روش‌های سنتی سئو، که جایگاه منبع را در زمینه‌ی مدل بالا می‌برند، به‌طور معناداری بهتر از روش‌های «مخصوص هوش مصنوعی» عمل کردند. [۱۶ · سطح ۲ · ۲۰۲۵]
از شش مرحله‌ی بالا، دو مرحله‌ی ۳ و ۴ تعیین می‌کنند چه چیزی روی میز می‌رسد و در کجای میز می‌نشیند. تمثیل دانشجوی کتاب‌باز اینجا هم کار می‌کند: صفحه‌ای که زیر سه کتاب دیگر دفن شده، حتی اگر روی میز باشد کمتر خوانده می‌شود.
انتخاب فقط کار «بازیاب» هم نیست. در Self-RAG مدل یاد می‌گیرد خودش تصمیم بگیرد چه موقع بازیابی کند و متن بازیابی‌شده و خروجی خودش را نقد کند. [۱۷ · سطح ۲ · ۲۰۲۴] این یک جهت پژوهشی است و مستند نشده که محصولی دقیقاً چنین کاری می‌کند.
ارجاع‌هایی که در پاسخ می‌بینیم چقدر قابل‌اعتمادند؟
دیدن یک لینک کنار جمله به معنای آن نیست که جمله واقعاً از آن لینک آمده. دو پژوهش مستقل این فاصله را اندازه گرفته‌اند:
- پژوهش ۲۰۲۳ (Liu، Zhang و Liang): در ارزیابی چهار موتور جست‌وجوی مولد آن زمان، به‌طور میانگین فقط ۵۱٫۵ درصد جمله‌های تولیدشده کاملاً توسط ارجاع‌هایشان پشتیبانی می‌شدند و فقط ۷۴٫۵ درصد ارجاع‌ها جمله‌ی کنار خودشان را تأیید می‌کردند. پاسخ‌ها روان و مفید به نظر می‌رسیدند اما اغلب جمله‌ی بدون پشتوانه داشتند. [۱۴ · سطح ۲ · ۲۰۲۳]
- پژوهش Tow Center (مارس ۲۰۲۵، آزمون فوریه ۲۰۲۵): وظیفه‌ی آزمون مشخص بود: شناسایی منبع یک گزیده‌ی خبری، نه سنجش صحت همه‌ی پاسخ‌ها. روی ۸ ابزار جست‌وجوی مولد و ۱۶۰۰ پرسش، ابزارها در مجموع در بیش از ۶۰ درصد پرسش‌ها پاسخ نادرست دادند (از ۳۷ درصد برای Perplexity تا ۹۴ درصد برای Grok 3). بیشتر پاسخ‌های غلط با اطمینان بالا ارائه شدند، گاهی نسخه‌های بازنشرشده‌ی مقاله در Yahoo News یا AOL به جای منبع اصلی ارجاع شد، و در بیش از نیمی از پاسخ‌های Gemini و Grok 3 نشانی‌های ساختگی یا خراب دیده شد. [۲۳ · سطح ۴ · ۲۰۲۵]
هر دو یافته محدودیت دارند و باید با احتیاط تعمیم داده شوند: هر دو به نسخه‌های همان زمان محصولات مربوط‌اند (۲۰۲۳ و فوریه ۲۰۲۵) و محصولات از آن زمان تغییر کرده‌اند. پژوهش Tow Center همچنین گزارش می‌کند که بعضی ابزارها حتی درباره‌ی ناشرانی که خزنده‌شان را مسدود کرده بودند پاسخ دادند؛ یعنی «مسدودکردن» و «ندیدن» همیشه مترادف نیست. [۲۳ · سطح ۴ · ۲۰۲۵]
یک لایه‌ی دیگر ناپایداری هم وجود دارد. مرور Martinez گزارش می‌کند ممیزی‌های تجاری همپوشانی کم منابع بین موتورها، تغییرپذیری بالا بین اجراهای مختلف و شکاف وفاداری را نشان داده‌اند. [۱۹ · داوری‌نشده · ۲۰۲۶] به زبان ساده: اگر یک پرسش را دو بار بپرسید ممکن است فهرست منابع یکسان نباشد. بنابراین ارجاع‌شدن در یک اجرا را نباید «رتبه‌ی ثابت» تعبیر کرد. [تحلیل نویسنده · استنباط، نه گزارش منبع]
آیا می‌شود انتخاب منبع را «بهینه» کرد؟ شواهد چه می‌گویند؟
این پرسش همان حوزه‌ای است که با نام GEO شناخته می‌شود؛ برای مرور دقیق‌تر آن مقاله GEO چیست؟ را ببینید. در اینجا فقط ادعاهای رایج را با شواهدشان کنار هم می‌گذارم. ردیف‌هایی که فقط به مستندات گوگل تکیه دارند «ادعای رسمی» هستند، یعنی نظر شرکتی که خودش سازنده‌ی این سیستم‌هاست و شاهد مستقل نیست.
| ادعای رایج | آنچه شواهد می‌گویند | منبع |
| «با بازنویسی می‌توان تا ۴۰ درصد دیده‌شدن را بالا برد.» | مقاله‌ی GEO بهبود تا ۴۰ درصد را در محیط آزمایشی خودش گزارش کرد. مرور Martinez تأکید می‌کند این سودها وقتی برقرارند که منبع از پیش در زمینه‌ی ثابت مدل باشد؛ پس بهبود «کشف‌شدن» را نشان نمی‌دهند. | [۱۵ · سطح ۲ · ۲۰۲۴] [۱۹ · داوری‌نشده · ۲۰۲۶] |
| «روش‌های C-SEO کار می‌کنند.» | در C-SEO Bench بیشتر روش‌ها تقریباً بی‌اثر بودند و اغلب جایگاه سند را بدتر کردند. با افزایش تعداد بازیگرانی که C-SEO به‌کار می‌برند، سود حاصل کاهش می‌یابد؛ نویسندگان آن را مسئله‌ای شلوغ و «حاصل‌جمع‌صفر» می‌نامند، یعنی بهبود یکی به‌قیمت دیگری است. | [۱۶ · سطح ۲ · ۲۰۲۵] |
| «بازنویسی برای مدل، بازیابی را بهتر می‌کند.» | در SAGEO Arena، که بازیابی و بازرتبه‌بندی را هم شبیه‌سازی می‌کند، رویکردهای موجود در شرایط واقع‌گرایانه «عمدتاً غیرعملی» بودند و اغلب عملکرد را بدتر می‌کردند. همین پیش‌چاپ می‌گوید اطلاعات ساختاری مانند schema markup به کاهش این محدودیت‌ها کمک می‌کند. | [۲۰ · داوری‌نشده · ۲۰۲۶] |
| «باید llms.txt بسازیم یا محتوا را تکه‌تکه کنیم.» | ادعای رسمی گوگل: به فایل یا مارک‌آپ مخصوص هوش مصنوعی نیاز نیست، Google Search از آن‌ها استفاده نمی‌کند و تکه‌کردن محتوا لازم نیست. درباره‌ی سایر سرویس‌ها در منابع این مقاله مستندی بررسی نشد. | [۲ · سطح ۱ · ۲۰۲۶] |
| «داده‌ی ساختاریافته‌ی ویژه لازم است.» | ادعای رسمی گوگل: برای جست‌وجوی مولد schema خاصی لازم نیست؛ داده‌ی ساختاریافته برای شرایط دریافت rich result همچنان توصیه می‌شود. (توضیح در پایین جدول) | [۲ · سطح ۱ · ۲۰۲۶] |
| «صفحه‌ی انبوه برای هوش مصنوعی بسازیم.» | گوگل هشدار می‌دهد تولید انبوه صفحه برای دستکاری رتبه یا پاسخ‌های هوش مصنوعی خلاف سیاست «scaled content abuse» است. | [۲ · سطح ۱ · ۲۰۲۶] |
| «ارجاع بیشتر یعنی ترافیک بیشتر.» | مرور Martinez می‌گوید سودهای گزارش‌شده‌ی اولیه بهبود کشف‌شدن یا ترافیک پایدار را نشان نمی‌دهند و در مطالعات بررسی‌شده شاهدی برای اثر پایدار و چندپلتفرمی روی دیده‌شدن ارگانیک پیدا نشد. این به معنای اثبات نبودِ اثر نیست. | [۱۹ · داوری‌نشده · ۲۰۲۶] |
توضیح ردیف schema: گفته‌ی SAGEO Arena درباره‌ی نقش schema و گفته‌ی گوگل درباره‌ی نیاز نبودن آن تناقض ندارند، چون از جنس متفاوت‌اند: اولی نتیجه‌ی یک محیط شبیه‌سازی پژوهشی و داوری‌نشده است، دومی توضیح رسمی یک محصول واقعی. [۲۰ · داوری‌نشده · ۲۰۲۶] [۲ · سطح ۱ · ۲۰۲۶]
خلاصه‌ی این جدول با موضع رسمی خود گوگل همخوان است: از نگاه جست‌وجوی گوگل، بهینه‌سازی برای جست‌وجوی مولد همان بهینه‌سازی برای تجربه‌ی جست‌وجو است و بنابراین همچنان سئو است؛ سیستم‌های رتبه‌بندی و کیفیت اصلی زیربنای این ویژگی‌ها هستند. [۲ · سطح ۱ · ۲۰۲۶] این هم یک ادعای رسمی است، با پژوهش مستقل تأیید یا رد نشده. و به معنای بی‌ارزش‌بودن این حوزه نیست. سئو، پاسخ‌دهی مستقیم (AEO) و GEO یک زنجیره‌ی واحدند؛ آنچه باید نقد کرد کیفیت اجرا و وعده‌های اثبات‌نشده است، نه خود زنجیره. [تحلیل نویسنده · استنباط، نه گزارش منبع]
پس عملاً چه کار کنیم؟ فهرست مبتنی بر شواهد
این فهرست فقط شامل کارهایی است که مستندات رسمی یا پژوهش‌ها پشتوانه‌ی روشنی برایشان دارند. هیچ‌کدام وعده‌ی «ارجاع تضمینی» نیست.
- برای هر خزنده تصمیم جدا بگیرید. آموزش، ایندکس جست‌وجو و دریافت به درخواست کاربر تصمیم‌های مستقل‌اند (جدول خزنده‌ها در بخش «موتور منابع را از کجا پیدا می‌کند؟»). [۴ · سطح ۱ · ۲۰۲۶]
- به جای فرض، لاگ سرور و تنظیمات CDN/WAF را بررسی کنید. باز بودن robots.txt تضمین نمی‌کند درخواست خزنده به سرور برسد. OpenAI و Perplexity برای خزنده‌هایشان فهرست IP منتشر کرده‌اند و می‌شود آن‌ها را در فایروال مجاز کرد. [۴ · سطح ۱ · ۲۰۲۶] [۷ · سطح ۱ · ۲۰۲۶] Anthropic می‌گوید فعلاً بازه‌ی IP منتشر نمی‌کند و هشدار می‌دهد مسدودکردن بر پایه‌ی IP ممکن است درست یا پایدار کار نکند. [۶ · سطح ۱ · ۲۰۲۶] پس برای Claude مجاز کردن بر اساس IP ممکن نیست و باید به شناسه‌ی خزنده و لاگ تکیه کرد. [تحلیل نویسنده · استنباط، نه گزارش منبع]
- ایندکس‌پذیری و snippet را چک کنید و صبور باشید. noindex، nosnippet و max-snippet می‌توانند حضور در ویژگی‌های هوش مصنوعی گوگل را محدود کنند. گوگل می‌گوید اعمال تغییر در کنترل‌های پیش‌نمایش ممکن است از چند روز تا چند ماه طول بکشد. [۱ · سطح ۱ · ۲۰۲۵]
- محتوای یکتا و غیرتکراری بنویسید. گوگل بین محتوای عمومی و پرتکرار («commodity») و محتوایی که تجربه یا نگاه کارشناسی دست‌اول دارد و از دانش رایج فراتر می‌رود فرق می‌گذارد و دومی را می‌خواهد. [۲ · سطح ۱ · ۲۰۲۶]
- ساختار را روشن نگه دارید. Bing می‌گوید سرتیتر روشن، جدول و بخش پرسش‌وپاسخ یافتن اطلاعات را برای سیستم‌های هوش مصنوعی آسان‌تر می‌کند؛ این توصیه‌ی خود شرکت است، نه نتیجه‌ی آزمایش مستقل. [۸ · سطح ۱ · ۲۰۲۶]
- تازگی را مدیریت کنید. Bing برای اطلاع‌رسانی تغییر محتوا به موتورهای مشارکت‌کننده پروتکل IndexNow را معرفی می‌کند. [۸ · سطح ۱ · ۲۰۲۶]
- با گزارش‌های رسمی اندازه بگیرید. گوگل گزارش «Generative AI performance» در Search Console را معرفی کرده است. [۲ · سطح ۱ · ۲۰۲۶] گزارش AI Performance در Bing تعداد استنادها، میانگین صفحات استنادشده، نمونه‌ی پرسش‌های grounding و فعالیت در سطح صفحه را نشان می‌دهد، اما جایگاه استناد در پاسخ، رتبه یا اهمیت صفحه را نشان نمی‌دهد. [۸ · سطح ۱ · ۲۰۲۶]
- درباره‌ی ابزارهای شخص ثالث محتاط باشید. گوگل هشدار می‌دهد هیچ ابزار خارجی به سیستم‌های داخلی رتبه‌بندی و هوش مصنوعی آن دسترسی ندارد و ادعاهایشان را باید با مستندات رسمی سنجید. [۲ · سطح ۱ · ۲۰۲۶]
برای محتوای فارسی چه چیزی را باید بدانیم؟
بیشتر پژوهش‌هایی که در این مقاله آمد روی داده‌ی انگلیسی انجام شده‌اند: DPR روی پرسش‌وپاسخ باز با ویکی‌پدیای انگلیسی [۱۰ · سطح ۲ · ۲۰۲۰]، BEIR که مجموعه‌ای از آزمون‌های انگلیسی است [۱۱ · سطح ۲ · ۲۰۲۱]، Lost in the Middle [۱۳ · سطح ۲ · ۲۰۲۴] و آزمون ناشران خبری Tow Center [۲۳ · سطح ۴ · ۲۰۲۵]. برای فارسی در منابع این مقاله پژوهشی پیدا نشد که این نتایج را بازتولید کرده باشد. پس هیچ‌یک از اعداد بالا را نباید مستقیم به محتوای فارسی تعمیم داد. [تحلیل نویسنده · استنباط، نه گزارش منبع]
خبر خوب این است که مجموعه‌های سنجش چندزبانه‌ی بازیابی وجود دارند و فارسی را هم پوشش می‌دهند؛ برای نمونه MIRACL فارسی را در میان ۱۸ زبان خود دارد. [۱۸ · سطح ۲ · ۲۰۲۳] اما این فقط وجود یک بنچمارک است، نه شاهدی درباره‌ی رفتار موتورهای هوش مصنوعی با صفحه‌های فارسی. نحوه‌ی توکن‌شدن و خوانده‌شدن متن فارسی توسط مدل‌ها بحث جداگانه‌ای است که در ماشین فارسی را چطور می‌خواند؟ بررسی شده است.
پرسش‌های متداول
ChatGPT، Claude و Perplexity هرکدام الگوریتم رتبه‌بندی مخصوص خودشان را دارند؟
منتشر نشده و ما نمی‌دانیم. آنچه مستند است نقش خزنده‌ها، قواعد robots.txt و چند جمله‌ی کلی درباره‌ی ارزیابی است (بخش «موتور منبع را چگونه ارزیابی می‌کند؟»). هر ادعای دقیق‌تر درباره‌ی «وزن» یا «فرمول» رتبه‌بندی این محصولات، در منابع این مقاله پشتوانه‌ی رسمی ندارد.
ChatGPT فقط از نمایه‌ی خودش جست‌وجو می‌کند؟
طبق راهنمای OpenAI نه الزاماً: ChatGPT گاهی با ارائه‌دهندگان دیگر جست‌وجو همکاری می‌کند و پرسش را بازنویسی کرده برای آن‌ها می‌فرستد. [۵ · سطح ۱ · ۲۰۲۶]
اگر GPTBot را ببندم از جست‌وجوی ChatGPT حذف می‌شوم؟
طبق مستندات OpenAI، خیر؛ تنظیم هر خزنده مستقل است و جست‌وجو به OAI-SearchBot مربوط می‌شود. OpenAI همچنین یادآوری می‌کند اگر هم GPTBot و هم OAI-SearchBot مجاز باشند، ممکن است یک خزش برای هر دو هدف استفاده شود. [۴ · سطح ۱ · ۲۰۲۶]
آیا باید فایل llms.txt بسازم؟
ادعای رسمی گوگل این است که Google Search از فایل‌ها یا مارک‌آپ مخصوص هوش مصنوعی استفاده نمی‌کند و نیازی به ساختن آن‌ها نیست؛ اگر برای سرویس‌های دیگر نگهشان دارید مشکلی نیست. [۲ · سطح ۱ · ۲۰۲۶] درباره‌ی سایر موتورها در منابع این مقاله مستندی بررسی نشد.
چرا یک پرسش در دو بار پرسیدن منابع متفاوت می‌دهد؟
دلایل ممکن شامل fan-out (اجرای چند پرسش فرعی)، تغییر نمایه و تغییرپذیری ذاتی تولید متن است. مرور Martinez تغییرپذیری بالا بین اجراهای مختلف را در ممیزی‌های تجاری گزارش می‌کند. [۱۹ · داوری‌نشده · ۲۰۲۶]
اگر صفحه‌ام ارجاع شد، یعنی مدل واقعاً از آن استفاده کرده است؟
الزاماً نه. در پژوهش ۲۰۲۳ فقط حدود سه‌چهارم ارجاع‌ها جمله‌ی کنار خودشان را تأیید می‌کردند. [۱۴ · سطح ۲ · ۲۰۲۳] ارجاع را باید یک «ادعا» دانست که می‌شود بررسی‌اش کرد، نه گواه قطعی استفاده.
ارجاع‌شدن در هوش مصنوعی ترافیک می‌آورد؟
در مطالعات بررسی‌شده‌ی مرور Martinez شاهد پایداری برای اثر روی کشف‌شدن ارگانیک پیدا نشد. [۱۹ · داوری‌نشده · ۲۰۲۶] بهتر است با گزارش‌های رسمی Search Console و Bing Webmaster Tools برای سایت خودتان اندازه بگیرید.
جمع‌بندی
- انتخاب منبع یک خط لوله است، نه یک رتبه. صفحه باید دیده و ایندکس شود، بازیابی شود، در زمینه‌ی مدل جای بگیرد و در پاسخ بیاید.
- آنچه مستند است محدود است: نقش خزنده‌ها، قواعد کنترل، شرط ایندکس‌بودن و چند جمله‌ی کلی. معیارهای دقیق ارزیابی منبع در بیشتر محصول‌ها منتشر نشده است.
- ارجاع‌ها گواه قطعی نیستند. پژوهش‌های مستقل فاصله‌ی قابل‌توجهی بین ارجاع و پشتوانه‌ی واقعی نشان داده‌اند.
- شاهد برای «بهینه‌سازی ویژه‌ی هوش مصنوعی» ضعیف و مشروط است. پایه‌های سئو (ایندکس‌پذیری، ارتباط موضوعی، محتوای یکتا) همچنان محکم‌ترین توصیه‌ها هستند.
- برای فارسی، تعمیم نتایج انگلیسی ممنوع است مگر اینکه خودتان با گزارش‌های رسمی و آزمون اندازه بگیرید.
اگر می‌خواهید ادامه‌ی این مسیر را در افق بلندتر ببینید، مقاله‌ی AGI و ASI و آینده‌ی سئو همین موضوع را از زاویه‌ی آینده‌پژوهی بررسی می‌کند.
چه چیزی در این مقاله تأیید نشده یا ممکن است تغییر کند؟
| محدودیت‌های شواهد
• تکیه بر یک پیش‌چاپ: چارچوب خط لوله، «بردار دیده‌شدن»، «اهرم‌های قابل‌تکرار»، گزارش ممیزی‌های تجاری و نتیجه‌ی «شاهد پایدار پیدا نشد» همه از مرور Martinez (ژوئیه ۲۰۲۶) آمده‌اند؛ پیش‌چاپی که حدود سه ماه پیش منتشر شده و داوری نشده است. SAGEO Arena و مقاله‌ی بازرتبه‌بندی BERT هم داوری‌نشده‌اند. • قدمت پژوهش‌ها: RRF (۲۰۰۹)، BERT برای بازرتبه‌بندی (۲۰۱۹)، DPR (۲۰۲۰)، BEIR (۲۰۲۱)، Lost in the Middle و پژوهش ارجاع‌ها (۲۰۲۳) و آزمون Tow Center (فوریه ۲۰۲۵) همه به نسخه‌های قدیمی‌تر مدل‌ها و محصول‌ها مربوط‌اند و نتایجشان را نباید به محصولات امروز تعمیم داد. • نبودِ شاهد، شاهدِ نبود نیست: «اثر پایدار پیدا نشد» با «اثر وجود ندارد» فرق دارد. • ادعاهای رسمی: هرجا فقط مستندات یک شرکت درباره‌ی اثربخشی آمده، آن گزاره نظر ذی‌نفع است، نه شاهد مستقل. • حکم دادگاه: فقط بندهای ۴۴ و ۴۵ یافته‌های واقعی حکم ۲ سپتامبر ۲۰۲۵ در متن اصلی بررسی شد. حکم نهایی ۵ دسامبر ۲۰۲۵ هم صادر شده است [۲۵ · سطح ۴ · ۲۰۲۵] ولی ادعایی در این مقاله به آن تکیه ندارد. • تاریخ مستندات: صفحه‌های OpenAI، Anthropic و Perplexity تاریخ به‌روزرسانی دقیق ندارند؛ فقط تاریخ بررسی ما (۸ اکتبر ۲۰۲۶) ثبت شده است. • آنچه بررسی نشد: منطق داخلی رتبه‌بندی ChatGPT، Claude و Perplexity منتشر نشده است و حدس زده نشد. نام و نقش خزنده‌های Bing را از مستندات رسمی خودش تطبیق ندادم. درباره‌ی llms.txt فقط موضع رسمی گوگل بررسی شد. • ممیزی‌های تک‌اجرا: بسیاری از ممیزی‌ها یک‌بار اجرا شده‌اند و ناپایداری پاسخ‌ها را کامل نمی‌پوشانند. |
فهرست منابع
منابع بر اساس سطح شواهد گروه‌بندی شده‌اند و شماره‌ها با نشانگرهای داخل متن یکی هستند. تاریخ «بررسی» یعنی روزی که نویسنده صفحه را مستقیم باز کرده و محتوایش را تطبیق داده است. لینک‌های داخلی سایت در این فهرست نیامده‌اند.
سطح ۱ · مستندات رسمی
[۱] Google Search Central. “AI features and your website”. Last updated: 10 Dec 2025. https://developers.google.com/search/docs/appearance/ai-features
[۲] Google Search Central. “Optimizing your website for generative AI features on Google Search”. Last updated: 10 Jul 2026. https://developers.google.com/search/docs/fundamentals/ai-optimization-guide
[۳] Google Search Console Help. “Search generative AI control”. No update date shown; per the page text, rolled out to all websites worldwide as of 31 Aug 2026. Accessed 8 Oct 2026. https://support.google.com/webmasters/answer/16908024
[۴] OpenAI developer docs. “Overview of OpenAI Crawlers”. No update date shown; accessed 8 Oct 2026. https://developers.openai.com/api/docs/bots
[۵] OpenAI Help Center. “Searching the web with ChatGPT”. Shown as “Updated: last month” (no exact date); accessed 8 Oct 2026. https://help.openai.com/en/articles/9237897-chatgpt-search
[۶] Anthropic Help Center. “Does Anthropic crawl data from the web, and how can site owners block the crawler?” Shown as “Updated over a month ago” (no exact date); accessed 8 Oct 2026. https://support.claude.com/en/articles/8896518
[۷] Perplexity Docs. “Perplexity Crawlers”. No update date shown; accessed 8 Oct 2026. https://docs.perplexity.ai/guides/bots
[۸] Microsoft Bing Webmaster Blog. “Introducing AI Performance in Bing Webmaster Tools Public Preview”. 10 Feb 2026. https://blogs.bing.com/webmaster/February-2026/Introducing-AI-Performance-in-Bing-Webmaster-Tools-Public-Preview
سطح ۲ · مقالات داوری‌شده
[۹] Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. Advances in Neural Information Processing Systems 33 (NeurIPS 2020). https://arxiv.org/abs/2005.11401
[۱۰] Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020, pp. 6769–6781. DOI: 10.18653/v1/2020.emnlp-main.550. https://aclanthology.org/2020.emnlp-main.550/
[۱۱] Thakur, N. et al. (2021). BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021, Datasets and Benchmarks Track (arXiv:2104.08663). https://arxiv.org/abs/2104.08663
[۱۲] Cormack, G. V., Clarke, C. L. A., Büttcher, S. (2009). Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods. SIGIR 2009, pp. 758–759. DOI: 10.1145/1571941.1572114. https://dl.acm.org/doi/10.1145/1571941.1572114
[۱۳] Liu, N. F. et al. (2024). Lost in the Middle: How Language Models Use Long Contexts. Transactions of the ACL, 12, 157–173. DOI: 10.1162/tacl_a_00638. https://aclanthology.org/2024.tacl-1.9/
[۱۴] Liu, N. F., Zhang, T., Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. Findings of EMNLP 2023, pp. 7001–7025. DOI: 10.18653/v1/2023.findings-emnlp.467. https://aclanthology.org/2023.findings-emnlp.467/
[۱۵] Aggarwal, P. et al. (2024). GEO: Generative Engine Optimization. KDD 2024. DOI: 10.1145/3637528.3671900. https://arxiv.org/abs/2311.09735
[۱۶] Puerto, H. et al. (2025). C-SEO Bench: Does Conversational SEO Work? Poster at NeurIPS 2025 (track not stated on the poster page); arXiv:2506.11097 (v3, 20 Oct 2025). https://neurips.cc/virtual/2025/poster/121465
[۱۷] Asai, A. et al. (2024). Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection. ICLR 2024 (arXiv:2310.11511). https://arxiv.org/abs/2310.11511
[۱۸] Zhang, X. et al. (2023). MIRACL: A Multilingual Retrieval Dataset Covering 18 Diverse Languages. Transactions of the ACL, 11, 1114–1131. DOI: 10.1162/tacl_a_00595. https://aclanthology.org/2023.tacl-1.63
پیش‌چاپ‌ها · داوری‌نشده
[۱۹] Martinez, O. (2026). Optimizing Visibility in Generative Engines: A Critical Survey of Generative Engine Optimization (2023-2026). arXiv:2607.14035, submitted 15 Jul 2026. Not peer-reviewed. https://arxiv.org/abs/2607.14035
[۲۰] Kim, S. et al. (2026). SAGEO Arena: A Realistic Environment for Evaluating Search-Augmented Generative Engine Optimization. arXiv:2602.12187, submitted 12 Feb 2026 (v2: 7 Aug 2026). Not peer-reviewed. https://arxiv.org/abs/2602.12187
[۲۱] Nogueira, R., Cho, K. (2019). Passage Re-ranking with BERT. arXiv:1901.04085. Not peer-reviewed. https://arxiv.org/abs/1901.04085
سطح ۳ · مدارک حقوقی
[۲۲] United States v. Google LLC, No. 1:20-cv-03010-APM (D.D.C.), Memorandum Opinion, Doc. 1436, filed 2 Sep 2025. Findings of Fact ¶¶ 44–45 (printed p. 35; PDF p. 39 of 230). Primary text via CourtListener (RECAP). https://storage.courtlistener.com/recap/gov.uscourts.dcd.223205/gov.uscourts.dcd.223205.1436.0.pdf
سطح ۴ · تحلیل صنعتی و گزارش‌های مستقل
[۲۳] Jaźwińska, K., Chandrasekar, A. (2025). “AI Search Has a Citation Problem”. Columbia Journalism Review, Tow Center, 6 Mar 2025 (tests run in Feb 2025). https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
[۲۴] Cloudflare Blog (2025). “Perplexity is using stealth, undeclared crawlers to evade website no-crawl directives”. 4 Aug 2025. Vendor report; the claims are Cloudflare’s. https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/
[۲۵] Winston & Strawn. “Antitrust Remedies in United States v. Google: AI and the Evolving Search Market”. Law-firm commentary on the final judgment of 5 Dec 2025 (secondary source). https://www.winston.com/en/blogs-and-podcasts/competition-corner/antitrust-remedies-in-united-states-v-google-ai-and-the-evolving-search-market