بخش 1 – پیش از شروع
۱.۱ این مقاله به چه پرسشی پاسخ می دهد
وقتی متنی مینویسید و در اینترنت منتشرش میکنید، پیش از آنکه هیچ انسانی آن را بخواند، یک برنامهی کامپیوتری آن را خوانده است. این برنامه متن شما را آنطور که شما نوشتهاید نمیبیند. متن را به قطعههای کوچک میشکند. هر قطعه را به عدد تبدیل میکند. بعد بر پایهی رابطهی این عددها با هم تصمیم میگیرد که متن شما دربارهی چیست.
این مقاله توضیح میدهد که در این مسیر دقیقاً چه اتفاقی میافتد. نه به این دلیل که دانستنش جالب است، بلکه به این دلیل که فاصلهی میان «چیزی که منظور شما بود» و «چیزی که ماشین دید»، همان چیزی است که تعیین میکند متن شما پیدا شود یا نشود. هدف، آموزش مکانیزم است نه دادن فهرست توصیه. وقتی بدانید ماشین چه کار میکند، خودتان میتوانید تشخیص بدهید کدام توصیهای که میشنوید پشتوانه دارد و کدام فقط تکرار شده است.
این مقاله برای چه کسی نوشته شده: برای کسی که هیچ پیشزمینهای در هوش مصنوعی یا سئو ندارد ولی میخواهد از پایه بفهمد. هر اصطلاح فنی، پیش از استفاده تعریف میشود. اگر جایی اصطلاحی دیدید که تعریفش را ندیدهاید، در واژهنامهی انتهای مقاله هست. یک استثنا: بخش ۵ از بقیهی مقاله فنیتر است. اگر سنگین بود، از آن رد شوید و به بخش ۶ بروید؛ بقیهی مقاله بدون آن هم کامل است.
۱.۲ شش واژه که قبل از شروع لازم دارید
این شش واژه در کل مقاله تکرار میشوند. تعریفشان ساده است.
- موتور جستوجو: برنامهای مثل گوگل که صفحههای اینترنت را جمع میکند و وقتی چیزی میپرسید، مرتبطترینها را نشان میدهد.
- خزش: کاری که موتور جستوجو انجام میدهد تا صفحههای تازه را پیدا کند. مثل کسی که در کتابخانه قفسهبهقفسه میگردد و هر کتاب تازهای را برمیدارد.
- ایندکس: فهرستی که موتور جستوجو از همهی صفحههایی که پیدا کرده میسازد. مثل فهرست کارتهای یک کتابخانه. اگر کتابی در فهرست نباشد، عملاً وجود ندارد — حتی اگر در قفسه باشد.
- سئو: مجموعه کارهایی که انجام میدهید تا صفحهی شما در نتایج موتور جستوجو بهتر دیده شود.
- الگوریتم: دستورالعملی گامبهگام برای انجام یک کار. مثل دستور پخت غذا، ولی برای کامپیوتر.
- مدل: برنامهای که بهجای اینکه کسی قواعدش را دستی بنویسد، خودش از روی حجم زیادی مثال، الگو یاد گرفته است. مدل زبانی یعنی مدلی که این کار را روی متن انجام داده.
تفاوت مهم: برنامهی معمولی را انسان مینویسد و میداند چرا هر خطش آنجاست. مدل را انسان آموزش میدهد و بعد نتیجه را میبیند، ولی دقیقاً نمیداند مدل داخل خودش چه راهی برای حل مسئله ساخته است. این تفاوت، دلیل بخش زیادی از احتیاطهایی است که در این مقاله میبینید.
۱.۳ چطور بفهمیم کدام حرف در این مقاله سند دارد
در این حوزه ادعا زیاد است و سند کم. برای اینکه بتوانید خودتان قضاوت کنید، هر ادعای این مقاله برچسب سطح منبع دارد. در این مقاله چهار برچسب زیر به کار رفته است. معنایشان این است:
- سطح ۱ — سند رسمی: چیزی که خود گوگل رسماً منتشر کرده. قویترین نوع منبع در این حوزه، چون گوگل دربارهی سیستم خودش حرف میزند.
- سطح ۲ — پژوهش داوری شده: مقالهای که پیش از انتشار، پژوهشگران مستقل دیگری آن را بررسی و تأیید کردهاند. این بررسی خطاها را میگیرد.
- پیشچاپ داوری نشده: مقالهای که نویسندگانش روی arXiv منتشر کردهاند ولی هنوز هیچ کنفرانس یا ژورنالی آن را داوری نکرده است. دادهاش ممکن است کاملاً درست باشد، ولی هیچکس بیرون از گروه نویسندگان بررسیاش نکرده. هرجا از این نوع منبع استفاده شود، صریح علامت میخورد و نتیجهگیری قطعی بر آن بنا نمیشود.
- پژوهش آزمایشگاهی: پژوهشی که یک شرکت هوش مصنوعی روی مدل خودش انجام داده و منتشر کرده. دادهها واقعیاند، ولی شرکت همزمان هم پژوهشگر است و هم صاحب موضوع پژوهش، و کسی مستقلاً بازبینیاش نکرده. هرجا از این نوع منبع استفاده شود، صریح علامت میخورد.
- دو سطح دیگر این چارچوب — سطح ۳ (شهادت حقوقی و سوگندنامه) و سطح ۴ (تحلیل صنعتی) — در این مقاله استفاده نشدهاند و در مقالههای دیگر این مجموعه میآیند.
یک هشدار که همین اول باید گفته شود. بخش ۵ این مقاله دربارهی آن چیزی است که داخل مدل میگذرد. این حوزه هنوز جوان است. حتی خود پژوهشگرانی که این کار را میکنند میگویند روششان، حتی روی متنهای کوتاه، فقط بخشی از کل محاسبهی مدل را ثبت میکند و ممکن است بخشی از آنچه میبینند ساختهی خود ابزارشان باشد. پس در آن بخش هرجا نوشته شده «شواهد نشان میدهد»، دقیقاً همان معنا را دارد و نه بیشتر.
۱.۴ هوش مصنوعی زبانی از کجا آمد
برای فهمیدن اینکه این مدلها امروز چه میکنند، بهتر است بدانید چه چیزی را کنار زدهاند. داستان چهار مرحله دارد.
- مرحلهی اول، تا دههی هشتاد میلادی: قاعدهنویسی دستی. زبانشناسها مینشستند و دستور زبان را به شکل قواعد صریح مینوشتند، و برنامهنویسها آن قواعد را کد میکردند. مشکل این بود که زبان استثنا دارد، و استثناها هم خودشان استثنا دارند. برای هر قاعدهای، جملهای پیدا میشد که نقضش میکرد. این راه به جایی نرسید.
- مرحلهی دوم، از دههی نود: شمردن بهجای قاعدهنویسی. بهجای اینکه به ماشین بگویند زبان چه قواعدی دارد، متن زیادی به آن دادند و گفتند خودت الگو پیدا کن. اینجا یک ایدهی قدیمی زبانشناسی به کار آمد: معنای یک واژه را میشود از واژههایی که کنارش میآیند حدس زد. جان فرث، زبانشناس بریتانیایی، در سال ۱۹۵۷ همین را گفته بود — واژه را از همنشینانش میشناسی.
این ایده را روی خودتان امتحان کنید: اگر جملهای بخوانید که در آن آمده «شبها یک لیوان زوپَرگ گرم مینوشم تا راحتتر بخوابم»، بدون اینکه بدانید «زوپَرگ» چیست، میفهمید یک نوشیدنی است. این را از واژه یاد نگرفتید؛ از همسایههایش یاد گرفتید. ماشین هم دقیقاً همین کار را میکند، فقط روی میلیاردها جمله.
- مرحلهی سوم، سال ۲۰۱۳: تبدیل معنا به عدد. مدلهایی مثل word2vec یاد گرفتند هر واژه را به یک فهرست عدد تبدیل کنند، طوری که واژههای با معنای نزدیک، عددهای نزدیک بگیرند. این نقطهی چرخش بزرگ اول بود. معنا از «برچسبی که باید تعریف شود» به «مکانی که میشود اندازه گرفت» تبدیل شد. در بخش ۳ کامل توضیحش میدهم.
- مرحلهی چهارم، سال ۲۰۱۷: معماری ترنسفورمر. گروهی از پژوهشگران مقالهای منتشر کردند با عنوان «توجه تنها چیزی است که لازم دارید». آنها روشی معرفی کردند که در آن هر واژهی جمله میتواند مستقیم به همهی واژههای دیگر نگاه کند. همهی مدلهای زبانی بزرگ امروز — چه آنهایی که پشت پاسخهای هوش مصنوعی گوگلاند و چه آنهایی که مستقیم با آنها گفتوگو میکنید — نوادهی همین یک مقالهاند.
منبع [سطح ۲]: واسوانی و همکاران، «Attention Is All You Need» — معماری ترنسفورمر تنها بر پایهی مکانیزمهای توجه ساخته شده و روشهای قبلی را بهطور کامل کنار میگذارد. arXiv:1706.03762
۱.۵ نقشه ی راه این مقاله
متن شما برای رسیدن به یک پاسخ هوش مصنوعی از سه لایه عبور میکند. هر لایه یک بخش از این مقاله است.
- لایهی اول — شکستن متن به قطعه: متن به تکههای کوچک تقسیم میشود. اینجا زبان فارسی اولین هزینهاش را میپردازد. (بخش ۲)
- لایهی دوم — تبدیل قطعهها به عدد: هر تکه به مجموعهای از عددها تبدیل میشود که مثل مختصات، جای آن را روی یک نقشهی معنایی مشخص میکند. (بخش ۳)
- لایهی سوم — ساختن معنا از رابطهها: مدل تعیین میکند هر تکه با کدام تکههای دیگر مرتبط است. (بخش ۴)
بعد از این سه لایه، سه بخش دیگر میآید: داخل مدل چه میگذرد (بخش ۵)، این سیستم کجاها اشتباه میکند (بخش ۶)، و متن شما اصلاً چطور جلوی چشم مدل قرار میگیرد (بخش ۷). بخشهای ۸ و ۹ نتیجهگیری عملی و فهرست چیزهایی است که هنوز نمیدانیم.
بخش 2 — لایه ی اول: ماشین کلمه نمی بیند، توکن می بیند
۲.۱ توکن چیست
اولین کاری که با متن شما میشود این است که به قطعههایی شکسته میشود که نامشان توکن است.
توکن به زبان ساده: کوچکترین واحدی که مدل با آن کار میکند. نه دقیقاً حرف است و نه دقیقاً کلمه؛ چیزی بین این دو. مدل هرگز کلمه نمیبیند. هرچه بعد از این مرحله اتفاق میافتد، روی توکنها انجام میشود.
قاعدهاش تقریباً این است: هرچه یک رشته پرتکرارتر باشد، احتمال بیشتری دارد که یک توکن کامل شود. واژهی رایجی مثل «کتاب» احتمالاً یک توکن است. یک نام تخصصی یا واژهی کمکاربرد ممکن است به سه یا چهار تکه بشکند که هیچکدام بهتنهایی معنایی ندارند. چرا این تقسیمبندی عجیب انتخاب شد؟ چون دو راه سادهتر هر دو شکست خوردند.
- راه اول این بود که واحد را «کلمه» بگیرند. مشکلش این است که به فهرستی از همهی کلمههای ممکن نیاز دارید، و چنین فهرستی هرگز کامل نمیشود. هر واژهی تازه، هر نام خاص، هر غلط تایپی بیرون فهرست میافتد و ماشین نمیتواند با آن کاری بکند.
- راه دوم این بود که واحد را «حرف» بگیرند. مشکل فهرست حل میشود، چون تعداد حرفها محدود است. ولی حالا هر جمله به دنبالهی بسیار بلندی از حرف تبدیل میشود و پردازشش بسیار گران و کند میشود.
توکن راه میانه است. تعداد توکنها ثابت و محدود است، ولی چون توکنها از کلمه کوچکترند، هر رشتهی ممکنی را میشود با ترکیب آنها ساخت. هیچ متنی بیرون فهرست نمیافتد. یک نکته که تا آخر این بخش لازمش داریم: تعداد توکن یک جمله عدد ثابتی نیست. به این بستگی دارد که سازندهی مدل کدام روش تقسیم را با چه دادهای ساخته باشد. همان جمله در دو مدل مختلف، دو عدد متفاوت میگیرد.
۲.۲ این تقسیم بندی چطور ساخته می شود
رایجترین روش، الگوریتمی است به نام BPE. ریشهاش جالب است: BPE اصلاً برای زبان ساخته نشده بود. فیلیپ گیج آن را در سال ۱۹۹۴ بهعنوان یک روش فشردهسازی فایل معرفی کرد. در سال ۲۰۱۶، گروهی به سرپرستی ریکو سنریش آن را برای ترجمهی ماشینی به کار گرفتند تا مشکل واژههای نادر را حل کنند.
منبع [سطح ۲]: سنریش، هدو و برچ (کنفرانس ACL 2016) — آنها BPE را که یک الگوریتم فشردهسازی است برای بخشبندی واژهها اقتباس کردند. این روش اجازه میدهد با یک فهرست به اندازهی ثابت، هر واژهی ممکنی نمایش داده شود. arXiv:1508.07909
منطق کار ساده است و در چهار گام خلاصه میشود:
- گام یک: کل متن آموزشی را به حرفهای تکی میشکنند.
- گام دو: پرتکرارترین جفت حرفهای کنار هم را پیدا میکنند.
- گام سه: آن جفت را با یک واحد تازه جایگزین میکنند و آن واحد را به فهرست اضافه میکنند.
- گام چهار: گام دو و سه را هزاران بار تکرار میکنند تا فهرست به اندازهی هدف برسد.
به زبان ساده: این الگوریتم مثل کارگری است که هر چیزی را که زیاد تکرار میشود، در یک قوطی آماده میگذارد تا دفعهی بعد سریع بردارد. چیزهایی که کم تکرار میشوند، قوطی آماده ندارند و هر بار باید از اجزای پراکنده ساخته شوند.
نتیجهی این فرایند یک چیز بسیار مهم است: فهرست توکنها آینهی دادهی آموزشی خودش است. هر الگویی که در آن داده پرتکرار بوده، یک توکن مستقل شده. هر الگویی که کمتکرار بوده، خرد مانده است. این جمله را نگه دارید؛ بخش بعد کاملاً بر همین بنا شده. نسخهی امروزی این الگوریتم بهجای حرف، از بایت شروع میکند.
بایت چیست: کوچکترین واحد ذخیرهی داده در کامپیوتر. هر متنی، در هر زبانی، در نهایت به دنبالهای از بایت تبدیل میشود. شروع از بایت این مزیت را دارد که هیچ نویسهای در هیچ زبانی از دسترس خارج نمیماند.
۲.۳ چرا یک معنای یکسان در زبان های مختلف توکن یکسان نمی گیرد
حالا نتیجهی آن جملهی مهم را میبینیم. فهرست توکنها روی دادهای ساخته شده که غالباً انگلیسی است. پس قوطیهای آمادهای که ساخته شده، عمدتاً برای انگلیسی مفیدند. زبانی که در دادهی آموزشی سهم کمی داشته، قوطی آمادهی کمتری دارد، پس متنش خردتر باقی میماند و توکن بیشتری میگیرد.
یک مقایسهی ملموس: تصور کنید دستگاه برشی دارید که قالبهایش را بر اساس یک نوع پارچه ساختهاند. اگر پارچهی دیگری بدهید، دستگاه کار میکند، ولی بهجای چهار قطعهی بزرگ، دوازده قطعهی کوچک بیرون میدهد. کار انجام شده، ولی گرانتر و بیدقتتر.
این پدیده اسم دارد: سربار توکن. یعنی هزینهی اضافیای که یک زبان فقط بهخاطر سهم کمش در دادهی آموزشی میپردازد.
منبع [پیشچاپ داورینشده]: چرچیل و اسکینا از دانشگاه استونی بروک (پیشچاپ arXiv، ژانویه ۲۰۲۶؛ تا امروز در هیچ کنفرانس یا ژورنالی داوری نشده)، توکنسازهای ده مدل رایج را بررسی کردند. نتیجه: نسبت به انگلیسی، زبانهای کممنبع سربار توکن قابلتوجهی میپردازند، یعنی رمزگذاری یک جمله در این زبانها معمولاً چند برابر جملهی هممعنای انگلیسی توکن لازم دارد. برای زبانهایی مثل بنگالی، هندی و اردو این سربار بهراحتی میتواند سه تا پنج برابر انگلیسی باشد. arXiv:2601.13328
منبع [پیشچاپ داورینشده]: تحلیل دیگری (پیشچاپ arXiv، اکتبر ۲۰۲۵؛ داورینشده) روی مجموعهدادهای که متن یکسان را به بیش از دویست زبان دارد، همین نابرابری را در مقیاس بزرگ اندازه گرفت و آن را نوعی «سوگیری زیرساختی» نامید. همان مقاله به پژوهش پیشینی اشاره میکند که تفاوت کارایی تا سیزده برابر میان انگلیسی و زبانهای دیگر را در ۱۰۸ زبان گزارش کرده است. arXiv:2510.12389
به یک نکته دقت کنید: رقم سیزده برابر در آن مقاله، ارجاع به پژوهش دیگری است نه یافتهی خودش. این را از آن جهت میگویم که این عدد در فضای فارسی زیاد نقل میشود، معمولاً بدون اینکه گفته شود از کجا آمده و به کدام زبانها مربوط است. تفاوت میان «فلان پژوهش این را نشان داد» و «فلان پژوهش به پژوهش دیگری اشاره کرد که این را نشان داده بود» تفاوت کوچکی نیست. این سربار سه نتیجه دارد و نتیجهی سوم مهمترین است.
- نتیجهی اول — متن کمتری جا میشود: هر مدل سقفی دارد برای مقدار متنی که میتواند یکبار جلوی چشمش داشته باشد. به این سقف پنجرهی بافت میگویند. اگر متن فارسی توکن بیشتری بگیرد، از یک سقف یکسان، متن کمتری جا میشود.
- نتیجهی دوم — هزینهی بیشتر: قیمت سرویسهای هوش مصنوعی بر اساس تعداد توکن حساب میشود. همان معنا در فارسی گرانتر تمام میشود.
- نتیجهی سوم — کیفیت پایینتر: وقتی یک واژه به شش تکهی بیمعنا میشکند، مدل باید معنای آن واژه را از ترکیب تکههایی بسازد که هیچکدام بهتنهایی چیزی نمیگویند. این کار سختتر است، و شواهد نشان میدهد در عمل هم بدتر انجام میشود.
۲.۴ چرا فارسی وضع بدتری دارد
اینجا باید دقیق باشیم، چون این نقطهای است که آسان میشود در آن اغراق کرد. من پژوهش داوریشدهای پیدا نکردم که بهطور اختصاصی سربار توکن فارسی را اندازه گرفته باشد. آنچه در ادامه میآید ترکیبی است از یک محاسبهی دقیق و قابلبازتولید، و یک استدلال ساختاری. سطح هرکدام را روشن میگویم. شروع کنیم از چیزی که کاملاً قابل اندازهگیری است. در استاندارد ذخیرهی متن که امروز همهجا استفاده میشود، هر حرف انگلیسی یک بایت جا میگیرد، هر حرف فارسی دو بایت، و نیمفاصله سه بایت.
این دو جمله را در نظر بگیرید که دقیقاً یک معنا را میرسانند: «موتور جستوجو محتوای صفحه را میخواند و آن را در ایندکس ذخیره میکند.» و «The search engine reads the page content and stores it in the index.» هر دو سیزده واژه دارند و تعداد نویسهشان تقریباً برابر است (۶۹ و ۶۸). ولی جملهی فارسی ۱۲۸ بایت است و جملهی انگلیسی ۶۸ بایت. نزدیک به دو برابر — پیش از آنکه هیچ الگوریتم توکنسازی وارد کار شود. هر دو عدد را میتوانید خودتان بشمارید.
چرا این عدد مهم است: این کف هزینه است، نه کل آن. یعنی حتی اگر الگوریتم توکنسازی هیچ سوگیریای به نفع انگلیسی نداشته باشد، باز هم متن فارسی سنگینتر است. توکن واقعی معمولاً از این هم بدتر میشود، چون آن قوطیهای آماده که در بخش قبل گفتیم، برای انگلیسی ساخته شدهاند. حالا سه ویژگی ساختاری فارسی که وضعیت را بدتر میکنند.
- ویژگی اول — نیمفاصله و چند املای معتبر برای یک واژه. واژهی «میخواند» را میشود با نیمفاصله، با فاصلهی کامل، یا سرهم نوشت. هر سه در متن فارسی وب دیده میشوند. برای خوانندهی انسان هر سه یک واژهاند. برای ماشین سه رشتهی متفاوتاند: بهترتیب ۱۷، ۱۵ و ۱۴ بایت. هیچ تضمینی نیست که به توکنهای یکسانی برسند.
چرا این مهم است: تصور کنید نام مغازهی شما در دفتر تلفن به سه شکل مختلف ثبت شده باشد. هیچکدام از این سه ثبت، بهتنهایی به اندازهی یک ثبت واحد مشتری نمیآورد، چون اعتبارتان بین سه اسم تقسیم شده. با یک واژه هم همین اتفاق میافتد.
- ویژگی دوم — چسبیدن اجزا به واژه. در فارسی چیزهایی که در انگلیسی واژهی جدا هستند به واژه میچسبند: ضمیر ملکی در «کتابش»، فعل کوتاهشده در «خوبه». هر ترکیب، یک رشتهی تازه میسازد که ممکن است در دادهی آموزشی بهقدر کافی تکرار نشده باشد و قوطی آماده نداشته باشد.
- ویژگی سوم — مرز واژه همیشه روشن نیست. ترکیبهای اضافی و فعلهای مرکب در فارسی گاهی جدا، گاهی با نیمفاصله و گاهی سرهم نوشته میشوند، و هر سه شکل در متنهای منتشرشده وجود دارد.
منبع [سطح ۲] و یک هشدار جدی دربارهی تعمیم: گازیت، شمیدمن، شمیدمن و پینتر (Findings of ACL 2025) نشان دادهاند روشهای توکنسازی امروزی در زبانهایی مثل عبری و عربی کارایی کمتری دارند، چون فرض میکنند واژه را میشود بهصورت خطی تکهتکه کرد، در حالی که در آن زبانها اجزای معنا درون واژه در هم تنیدهاند. اینجا باید دقیق بود: فارسی از این نظر مثل عبری و عربی نیست. ساختار واژه در فارسی خطی است و تکهتکه کردنش مشکلی ندارد. آنچه فارسی با آنها مشترک دارد خط غیرلاتین و سهم کم در دادهی آموزشی است، نه ساختار درونی واژه. این تمایز را نگه دارید و تعمیم ندهید. arXiv:2503.14433
۲.۵ از این لایه چه چیزی برای شما مهم است
سه نتیجهی عملی، و هر سه از مکانیزم بالا میآیند نه از عرف رایج.
- نتیجهی اول — «تعداد کلمات» معیار بیمعنایی است. وقتی گفته میشود «مقاله باید دو هزار کلمه باشد»، هیچ چیزی دربارهی آنچه ماشین میبیند گفته نشده است. ماشین کلمه نمیشمرد، توکن میشمرد. و همان دو هزار کلمه در فارسی و انگلیسی دو عدد کاملاً متفاوت است.
- نتیجهی دوم — یکدستی املا اثر واقعی دارد، ولی نه به دلیلی که معمولاً گفته میشود. دلیلش «تمیزی» یا «حرفهای بودن» نیست. دلیلش این است که سه املای متفاوت از یک واژه، برای ماشین سه چیز متفاوتاند و اعتبار آن واژه را بین خودشان تقسیم میکنند. داشتن یک شیوهنامهی نگارشی ثابت برای کل سایت، از این منظر یک تصمیم فنی است نه سلیقهای.
- نتیجهی سوم — و این را باید صریح گفت: ما نمیدانیم این هزینه در عمل چقدر روی دیده شدن محتوای فارسی اثر میگذارد. مکانیزم روشن است و جهت اثر روشن است. اندازهی اثر اندازهگیری نشده است. اگر کسی عددی برای این اثر در فارسی به شما بدهد، آن عدد را از جایی نیاورده است.
بخش 3 — لایه ی دوم: معنا به مثابه مکان روی یک نقشه
۳.۱ ایده ی بنیادی: واژه را از همسایه هایش می شناسیم
حالا متن شما به دنبالهای از توکن تبدیل شده است. ولی توکنها هنوز فقط شمارهاند و هیچ معنایی در خودشان ندارند. لایهی دوم جایی است که این شمارهها معنا پیدا میکنند. ایده همان چیزی است که در بخش ۱.۴ دیدید: معنای یک واژه را میشود از الگوی واژههایی که کنارش میآیند استخراج کرد. اگر دو واژه در متنهای زیادی در جاهای مشابه ظاهر شوند، احتمالاً معنای نزدیکی دارند.
چرا این ایده انقلابی بود؟ چون معنا را از چیزی که باید تعریف شود به چیزی که میشود شمرد تبدیل کرد. تا پیش از آن، برای اینکه ماشین بفهمد «پزشک» و «دکتر» نزدیکاند، کسی باید این را دستی در یک واژهنامه مینوشت. با این ایده، ماشین خودش از روی متن به این نتیجه میرسد، چون این دو واژه در جملههای مشابه ظاهر میشوند.
۳.۲ بردار چیست و نسل اول چه ضعفی داشت
بردار به زبان ساده: فهرستی از عددها که با هم، جای یک چیز را مشخص میکنند. مثل مختصات جغرافیایی. طول و عرض جغرافیایی دو عدد هستند که با هم یک نقطهی مشخص روی زمین را نشان میدهند. بردار همین است، فقط بهجای دو عدد، ممکن است چند صد عدد داشته باشد.
امبدینگ به زبان ساده: کار تبدیل کردن یک واژه به بردار. یعنی دادن یک «آدرس» به هر واژه روی نقشهی معنا.
نسل اول این روشها — word2vec در سال ۲۰۱۳ و بعد چند روش مشابه — به هر واژه یک بردار ثابت میدادند. این بردار از روی الگوی همسایگی آن واژه در کل متن آموزشی ساخته میشد و بعد دیگر تغییر نمیکرد.
این کار خیلی چیزها را ممکن کرد. برای اولین بار یک سیستم میتوانست تشخیص بدهد که دو متن با واژههای کاملاً متفاوت دربارهی یک موضوعاند. ولی یک ضعف بنیادی داشت: هر واژه فقط یک آدرس داشت، بدون توجه به اینکه در کدام جمله آمده است. واژهی «شیر» در فارسی سه معنای کاملاً متفاوت دارد: حیوان، نوشیدنی، و قطعهی لولهکشی. در این روش هر سه یک آدرس میگرفتند: آدرسی متوسط که هیچکدام از سه معنا نبود.
۳.۳ نقطه ی چرخش: آدرس ثابت نیست، در هر جمله عوض می شود
تغییر بزرگ این بود که آدرس هر واژه دیگر ثابت نباشد و در هر جمله از نو محاسبه شود. دو جمله را در نظر بگیرید:
- «شیر آب آشپزخانه چکه میکند.»
- «شیر در باغ وحش بیقرار بود.»
در روش قدیمی، «شیر» در هر دو جمله یک آدرس دارد. در روش جدید، دو آدرس کاملاً متفاوت میگیرد، چون آدرس از روی کل جمله ساخته میشود نه از روی واژهی تنها. در جملهی اول، حضور «آب» و «چکه» آدرس را به ناحیهی لولهکشی میبرد. در جملهی دوم، «باغوحش» آن را به ناحیهی جانوران میبرد. این تغییر همهچیز را عوض کرد، چون یعنی مدل دیگر «واژه» را نمایش نمیدهد؛ «واژه در این جمله» را نمایش میدهد. و این دقیقاً همان چیزی است که ما وقتی میگوییم «فهمیدن» انتظار داریم.
برای شما به عنوان نویسنده یک نتیجهی مستقیم دارد: جملههایی که دور یک واژهی مبهم میسازید، تعیین میکنند آن واژه در کجای نقشهی معنا بنشیند. اگر نام محصول شما با چیز دیگری مشترک است، جملههای اطراف کار تفکیک را انجام میدهند — نه تکرار نام.
۳.۴ نقشه ی معنا چه شکلی است
تا اینجا گفتیم واژه به بردار تبدیل میشود و بردار یعنی آدرس. حالا این نقشه را دقیقتر ببینیم. روی یک برگهی کاغذ، هر نقطه دو مختصات دارد: راست-چپ و بالا-پایین. در فضای سهبعدی، سه مختصات. حالا فضایی را تصور کنید که بهجای دو یا سه جهت، هفتصد و شصت و هشت جهت دارد. این عددی است که در بعضی مدلهای واقعی استفاده میشود. هر توکن یک نقطه در این فضاست.
چرا اینقدر جهت لازم است؟ چون معنا ابعاد زیادی دارد. یک واژه همزمان باید در ویژگیهایی مثل مثبت یا منفی بودن، عینی یا انتزاعی بودن، رسمی یا محاورهای بودن، حوزهی تخصصی، و دهها ویژگی دیگر که اصلاً اسمی برایشان نداریم جایگاه داشته باشد. در فضای کمجهت، جا برای همهی این تمایزها نیست. نزدیکی در این فضا با معیاری سنجیده میشود به نام شباهت کسینوسی.
شباهت کسینوسی به زبان ساده: به جای اینکه فاصلهی دو نقطه را اندازه بگیریم، جهتشان را مقایسه میکنیم. تصور کنید از یک نقطه دو فلش بیرون زده. اگر هر دو تقریباً به یک سمت اشاره کنند، شبیهاند. اگر یکی به شمال و دیگری به شرق اشاره کند، بیربطاند. عددش بین منفی یک و مثبت یک است.
چرا این با «جستوجوی کلمه» بنیاداً فرق دارد؟ در جستوجوی کلمه، پاسخ فقط دو حالت دارد: یا واژه در متن هست یا نیست. در نقشهی معنا، پاسخ پیوسته است: متن شما به این پرسش نزدیک است، به آن یکی نزدیکتر، به سومی دور. هیچجا سؤالی دربارهی «بودن یا نبودن یک رشته» پرسیده نمیشود.
۳.۵ این برای سئو چه معنایی دارد
سه نتیجه، و نتیجهی سوم مهمتر از دو تای اول است.
- نتیجهی اول — تکرار مترادفها لازم نیست. اگر متن شما دربارهی «پزشک» است، لازم نیست «دکتر» و «طبیب» را هم به زور داخل متن بیاورید تا مطمئن شوید پیدا میشوید. این دو در نقشهی معنا کنار هم نشستهاند. منبع [سطح ۱] — گوگل: سیستمهای هوش مصنوعی مترادفها و معنای کلی چیزی را که کاربر دنبالش است میفهمند، تا او را به محتوایی وصل کنند که ممکن است از همان واژههای دقیق استفاده نکرده باشد.
- نتیجهی دوم — انباشتن کلیدواژه بیاثر است. نه به این دلیل که «گوگل جریمه میکند»، بلکه به دلیل سادهتری: در این نقشه، تکرار یک واژه آدرس متن را به سمت آن واژه پرت نمیکند. آدرس جمله از کل جمله ساخته میشود. ده بار نوشتن یک واژه، ده آدرس تقریباً یکسان میسازد، نه یک آدرس قویتر.
- نتیجهی سوم — و این مرزی است که نباید از آن رد شد: جستوجوی کلمهمحور هنوز حذف نشده است. سیستمهای واقعی ترکیبیاند و هر دو روش را کنار هم به کار میبرند، مخصوصاً برای پرسشهایی که در آنها نام محصول، کد، شمارهی مدل یا اصطلاح دقیق آمده است. اگر کسی به شما بگوید «تطبیق کلمهای مرده است»، دقیقاً همان کاری را میکند که این مقاله ادعا میکند نمیکند: مکانیزم را با شعار جایگزین میکند.
بخش 4 — لایه ی سوم: چطور مدل رابطه ها را می سازد
۴.۱ مسئلهای که باید حل میشد
تا اینجا هر توکن یک آدرس دارد. ولی معنای یک جمله فقط جمع معنای واژههایش نیست. این دو جمله را مقایسه کنید: «سگ مرد را گاز گرفت» و «مرد سگ را گاز گرفت». واژهها دقیقاً یکیاند. معنا کاملاً متفاوت است. تفاوت در رابطههاست، نه در اجزا.
پیش از سال ۲۰۱۷، مدلهای غالب جمله را واژهبهواژه میخواندند و یک حافظهی کوچک داخلی را در هر گام بهروز میکردند. دو مشکل داشت. اول اینکه اطلاعات واژههای ابتدای جمله در طول مسیر کمرنگ میشد، پس در جملههای بلند رابطههای دور از دست میرفت. دوم اینکه چون هر گام به گام قبلی وابسته بود، نمیشد کار را بین چند پردازنده تقسیم کرد و آموزش روی دادهی بزرگ بسیار کند بود.
۴.۲ مکانیزم توجه چه کار می کند
ایده این بود: بهجای اینکه جمله را ترتیبی بخوانیم، بگذاریم هر توکن مستقیم به همهی توکنهای دیگر نگاه کند و خودش تصمیم بگیرد به کدامها اهمیت بدهد.
به زبان ساده: جلسهای را تصور کنید با ده نفر. بهجای اینکه هر نفر فقط حرف نفر قبلی را بشنود، همه همزمان به همه نگاه میکنند و هر کس تصمیم میگیرد برای فهمیدن موضوع، حرف چه کسی مهمتر است. مکانیزم توجه دقیقاً همین است، فقط بین واژههای یک متن.
به هر جفت توکن یک وزن داده میشود که نشان میدهد اولی برای فهمیدن دومی چقدر مهم است. در جملهی «قرارداد را امضا کرد چون شرایطش منصفانه بود»، وقتی مدل به «شرایطش» میرسد، وزن بالایی به «قرارداد» میدهد، چون آن ضمیر به آن اشاره دارد. این وزنها دستی نوشته نشدهاند؛ مدل آنها را از روی داده یاد گرفته است.
این کار همزمان چند بار و به شیوههای متفاوت انجام میشود. یک بار ممکن است بیشتر به رابطههای دستوری حساس باشد، بار دیگر به رابطههای موضوعی. نتیجهی همه با هم ترکیب میشود.
یک جزئیات فنی که پیامد عملی مهمی دارد: چون در این روش همهی واژهها همزمان دیده میشوند، مدل بهطور طبیعی نمیداند کدام واژه اول آمده و کدام آخر. سازندگان مجبور شدند اطلاعات ترتیب را جداگانه و بهصورت مصنوعی به مدل بدهند. این نکته را نگه دارید؛ در بخش ۶.۲ به آن برمیگردیم، چون یکی از ضعفهای شناختهشدهی این مدلها دقیقاً از همینجا میآید.
۴.۳ این برای نویسنده چه پیامدی دارد
سه پیامد، و همه از همین مکانیزم میآیند.
- پیامد اول — جملهی مبهم برای ماشین گرانتر است. وقتی یک ضمیر میتواند به دو چیز اشاره کند، توجه بین آن دو تقسیم میشود. مدل مجبور است هر دو احتمال را با خودش حمل کند. این لزوماً به خطا ختم نمیشود، ولی سیگنال را رقیق میکند.
- پیامد دوم — ارجاع مبهم ریسک دارد. «این»، «آن»، «همان»، «موضوع فوق» — هرکدام یک گرهی ابهام میسازند. در پاراگرافی که سه اسم در آن آمده و بعد نوشتهاید «این باعث میشود که…»، حتی خوانندهی انسان هم گاهی مکث میکند. اسم را تکرار کنید. هزینهاش یک واژه است.
- پیامد سوم — ساختار پاراگراف اثر واقعی دارد. پاراگرافی که یک ایدهی کامل و خودبسنده دارد، شبکهی متراکمتری از رابطههای درونی میسازد تا پاراگرافی که نصف ایدهاش در پاراگراف قبل جا مانده است. در بخش ۷.۲ میبینید چرا این نکته اهمیت دوچندان پیدا میکند.
بخش 5 — داخل مدل چه می گذرد
این جذابترین و در عین حال پرریسکترین بخش مقاله است. هرچه در ادامه میآید از پژوهشهایی میآید که تازهاند و روشهایشان محدودیتهای اعلامشده دارند. با همان دقتی بخوانیدش که نوشته شده: شواهد نشان میدهد، نه مدل چنین میکند.
۵.۱ اصلاً چطور می شود داخل یک مدل را دید
وقتی متنی وارد مدل میشود، میلیاردها عدد داخل آن فعال میشوند. پرسش این است: آیا این فعالشدنها الگوی معناداری دارند؟ پاسخی که پژوهشهای اخیر میدهند این است که بله، تا حدی. الگوهایی پیدا میشوند که به مفاهیم قابلفهم انسانی مربوطاند. به این الگوها ویژگی میگویند. و وقتی نشان داده شود چند ویژگی زنجیرهوار هم را فعال میکنند و به یک نتیجه میرسند، به آن زنجیره مدار میگویند.
به زبان ساده: کاری که این پژوهشگران میکنند شبیه اسکن مغز است. نمیتوانند فکر شما را بخوانند، ولی میتوانند ببینند وقتی به چیزی فکر میکنید کدام نواحی روشن میشوند. خود پژوهشگران هم برای توصیف کارشان از استعارهی «میکروسکوپ» استفاده میکنند.
اما این استعاره را باید بلافاصله محدود کرد، وگرنه گمراهکننده است. این میکروسکوپ همهی نمونه را نمیبیند. طبق گفتهی خود پژوهشگران، روش فعلی حتی روی متنهای کوتاه فقط بخشی از کل محاسبه را ثبت میکند، فهمیدن مدارهای یک متن چند ده کلمهای ساعتها کار انسانی میبرد، و ممکن است بخشی از آنچه دیده میشود ساختهی خود ابزار باشد.
۵.۲ آیا مدل پیش از زبان، مفهوم دارد
برای هر کسی که به زبانی غیر از انگلیسی محتوا تولید میکند، این پرسش مرکزی است. سؤال دقیق این است: آیا داخل مدل یک بخش فارسی و یک بخش انگلیسی جدا وجود دارد، یا یک هستهی مشترک هست که بعد به زبانها ترجمه میشود؟
منبع [پژوهش آزمایشگاهی]: آنتروپیک برای بررسی این موضوع از مدل به زبانهای مختلف پرسید «متضاد کوچک چیست؟» و دید که همان ویژگیهای مرکزیِ مفهوم کوچکی و مفهوم متضاد بودن فعال میشوند و مفهوم بزرگی را برمیانگیزند، که بعد به زبان پرسش ترجمه میشود. آنها همچنین گزارش کردند این بخش مشترک با بزرگتر شدن مدل بیشتر میشود. تفسیر خودشان این است که شواهدی به دست میدهد بر وجود فضای انتزاعی مشترکی که معناها در آن قرار دارند و تفکر میتواند پیش از ترجمه شدن به زبانی خاص در آن رخ بدهد.
این یافتهی مهمی است، ولی نباید همینجا رهایش کرد. چون پژوهش مستقل و داوریشدهای وجود دارد که تصویر دقیقتر و ناراحتکنندهتری میدهد.
منبع [سطح ۲]: وندلر و همکاران (کنفرانس ACL 2024) روی خانوادهی مدلهای Llama-2 نشان دادند پردازش داخلی سه مرحلهی متمایز دارد که آنها آن را فضای ورودی، فضای مفهوم و فضای خروجی نامیدند. اما یافتهی کلیدیشان این است: شواهد نشان میدهد آن «فضای مفهوم» به انگلیسی نزدیکتر است تا به زبانهای ورودی دیگر — که به گفتهی خودشان میتواند پیامدهای مهمی برای سوگیریهای نهفته در این مدلها داشته باشد. arXiv:2402.10588
این دو یافته با هم در تضاد نیستند، ولی معنایشان یکی نیست. بله، شواهد نشان میدهد فضای مفهومی مشترکی وجود دارد و مدل چیزی را که به یک زبان یاد گرفته میتواند در زبان دیگر به کار ببرد. ولی این فضای مشترک بیطرف نیست. مرکزش به انگلیسی نزدیکتر است.
یک تشبیه: تصور کنید فرودگاهی مرکزی که پروازهای همهی شهرها از آن عبور میکنند. این فرودگاه واقعاً همه را به هم وصل میکند — ولی خودش در یکی از شهرها ساخته شده. مسافر آن شهر مستقیم سوار میشود؛ بقیه باید اول تا آنجا بروند.
برای فارسی نویس این یعنی خبر خوب و خبر بد با هم. خبر خوب: دانشی که مدل از منابع انگلیسی دارد، هنگام پاسخ به پرسش فارسی هم در دسترسش است. خبر بد: مسیر از فارسی تا آن فضای مشترک، بلندتر است. و باید صادق بود که این پژوهش روی فارسی انجام نشده؛ فارسی جزو زبانهای آزمایششده نبود.
۵.۳ آیا مدل فقط کلمه ی بعدی را حدس می زند
رایجترین توصیفی که از این مدلها میشنوید این است که «فقط کلمهی بعدی را پیشبینی میکنند». این توصیف از نظر فنی درست است و از نظر توصیفی ناقص.
منبع [پژوهش آزمایشگاهی]: آنتروپیک این را روی شعر آزمایش کرد. برای نوشتن سطر دوم یک دوبیتی، مدل باید همزمان دو شرط را برآورده کند: قافیه شدن با سطر اول، و معنادار بودن. فرض پژوهشگران این بود که مدل واژهبهواژه پیش میرود و فقط در انتهای سطر مراقب قافیه میشود. چیزی که دیدند این نبود: مدل پیش از شروع سطر دوم، به واژههای محتملِ همقافیه فکر میکرد و بعد سطری مینوشت که به آن واژه برسد. وقتی پژوهشگران آن قافیهی برنامهریزیشده را از حالت داخلی مدل حذف کردند، مدل قافیهی دیگری انتخاب کرد و سطر تازهای ساخت.
نتیجه این است: مدل در هر گام یک توکن تولید میکند، ولی محاسبهای که پشت آن یک توکن است میتواند افق بلندتری داشته باشد. «فقط کلمهی بعدی» توصیف شکل خروجی است، نه توصیف محاسبه.
یافتهی مرتبط دیگری هم هست که برای سئو مستقیماً معنا دارد. وقتی از مدل پرسیده شد پایتخت ایالتی که شهر دالاس در آن است کجاست، پژوهشگران دیدند مدل اول ویژگی «دالاس در تگزاس است» را فعال میکند و بعد آن را به «پایتخت تگزاس آستین است» وصل میکند. یعنی به جای بازگو کردن یک پاسخ حفظشده، دو واقعیت مستقل را به هم وصل میکند. این ما را مستقیم به بخش بعد میبرد. اگر مدل با وصل کردن رابطهها کار میکند، پس شکلی که آن رابطهها نوشته شدهاند اهمیت دارد.
۵.۴ چه چیزی را هنوز نمی دانیم
دو مرز را باید صریح گفت.
- مرز اول، محدودیت روش. آنچه در این بخش آمد از روشهایی به دست آمده که خودشان اذعان دارند تصویر کاملی نمیدهند. اینها نتیجهگیری قطعی دربارهی «طرز کار مدل» نیستند؛ شواهدی دربارهی بخشی از آناند.
- مرز دوم، و این برای همهی ما که با این ابزارها کار میکنیم اهمیت عملی دارد: توضیحی که مدل از کار خودش میدهد، همیشه توضیح واقعی نیست. در همان پژوهش، وقتی از مدل مسئلهای پرسیده شد که نمیتوانست بهسادگی حسابش کند، گاهی پاسخی میساخت بدون اینکه اصلاً محاسبهای انجام شده باشد — و ابزار پژوهشگران هیچ نشانهای از آن محاسبه پیدا نکرد. جالبتر اینکه وقتی به مدل سرنخی از پاسخ داده شد، گاهی برعکس کار کرد: از پاسخ شروع کرد و مراحلی ساخت که به آن برسند.
نتیجهی عملی برای شما: وقتی از یک ابزار هوش مصنوعی میپرسید «چرا این صفحه را انتخاب کردی؟» یا «برای دیده شدن در پاسخهای هوش مصنوعی چه باید بکنم؟»، پاسخی که میگیرید توضیح فرایند واقعی نیست. متنی است که شبیه توضیح موجه به نظر میرسد. این تفاوت را جدی بگیرید.
بخش 6— جاهایی که ماشین اشتباه می کند
این بخش، عملیترین بخش مقاله است. دو ضعف شناخته شده و مستند را بررسی میکند که هر دو مستقیماً روی شکل نوشتن اثر میگذارند.
۶.۱ چرا مدل «الف، ب است» را یاد می گیرد ولی «ب، الف است» را نه
این یکی از عجیبترین یافتههای مستند این حوزه است. اگر مدل در آموزش جملهای به شکل «الف، ب است» ببیند، بهطور خودکار جهت برعکس آن را نتیجه نمیگیرد.
منبع [سطح ۲]: برگلاند و همکاران (کنفرانس ICLR 2024) این پدیده را «نفرین معکوس» نامیدند. آنها این را روی چهرههای واقعی آزمودند: مدل GPT-4 به پرسش «مادر تام کروز کیست؟» در ۷۹ درصد موارد درست پاسخ میداد، ولی به پرسش برعکس «پسر مری لی فایفر کیست؟» تنها در ۳۳ درصد موارد. آنها گزارش کردند این پدیده در اندازهها و خانوادههای مختلف مدل پایدار است و با افزودن داده هم برطرف نمیشود. arXiv:2309.12288
یک تشبیه آشنا: خیلیها شمارهی تلفن چند نفر را حفظاند. ولی اگر شمارهای ناشناس زنگ بزند و همان شماره باشد، معمولاً نمیشناسندش. رابطه را در یک جهت یاد گرفتهاند، نه در دو جهت. مدل هم همینطور است.
چرا این اتفاق میافتد؟ توضیحش به روش آموزش برمیگردد. مدل آموزش میبیند که با دیدن یک دنباله، ادامهاش را حدس بزند. وقتی هزاران بار دیده «تام کروز» و بعدش «مادرش مری لی فایفر»، رابطه را در همان جهت آموخته است. هیچ چیزی در فرایند آموزش او را وادار نمیکند نسخهی برعکسش را هم بسازد.
و حالا یک استثنای حیاتی که اگر جا بیفتد، نتیجهگیری این بخش وارونه میشود. نویسندگان همان مقاله صریح میگویند اگر جملهی «الف، ب است» در متنی باشد که همان لحظه جلوی چشم مدل گذاشته شده، مدل بهخوبی رابطهی معکوس را نتیجه میگیرد. یعنی این مشکلِ حافظهی آموخته است، نه مشکل استدلال در لحظه.
این استثنا خبر خوبی برای شماست، چون یعنی مسئله در حیطهی کنترل شماست. اگر صفحهی شما پیدا شود و متنش جلوی چشم مدل قرار بگیرد، رابطهای که در آن نوشتهاید در هر دو جهت قابل استفاده است. مشکل جایی است که به دانش حفظشدهی مدل تکیه میکنید.
پیامد عملی: رابطههای مهمی را که به دانش حفظشدهی مدل تکیه دارند دوطرفه بنویسید. اگر جایی نوشتهاید «شرکت الف سازندهی محصول ب است»، جای دیگری هم بنویسید «محصول ب را شرکت الف میسازد». برای خوانندهی انسان این تکرار به نظر میرسد، پس باید طوری نوشته شود که تکراری نباشد — مثلاً یکی در متن و دیگری در صفحهی معرفی. ولی برای ماشین دو گزارهی متفاوت است. توجه کنید که این توصیه دامنهی محدودی دارد: در مسیر بازیابی که در بخش ۷ میبینید، متن شما جلوی چشم مدل گذاشته میشود و استثنای بالا عمل میکند.
۶.۲ چرا جای اطلاعات در متن اهمیت دارد
ضعف دوم دربارهی موقعیت است. یادتان هست در بخش ۴.۲ گفتیم مدل بهطور طبیعی ترتیب را نمیداند و اطلاعات ترتیب مصنوعی به آن داده میشود؟ پیامدش اینجاست.
منبع [سطح ۲]: لیو و همکاران، منتشرشده در ژورنال TACL (سال ۲۰۲۴، جلد ۱۲، صفحات ۱۵۷ تا ۱۷۳). آنها عملکرد مدلها را روی دو وظیفه سنجیدند که هر دو نیازمند پیدا کردن اطلاعات مرتبط در یک متن طولانی بودند. یافته: عملکرد معمولاً وقتی بالاترین است که اطلاعات مرتبط در ابتدا یا انتهای متن باشد، و وقتی مدل باید به اطلاعاتی در وسط یک متن طولانی دسترسی پیدا کند بهطور محسوسی افت میکند — حتی در مدلهایی که صراحتاً برای متنهای بلند ساخته شدهاند. arXiv:2307.03172
به زبان ساده: مثل یک مکالمهی تلفنی طولانی. معمولاً اول مکالمه و آخرش یادتان میماند، وسطش کمرنگ میشود. شکل این افت را به شکل حرف U انگلیسی تصور کنید: اول خوب، وسط بد، آخر دوباره خوب.
حالا پرسش مهم: آیا مدلهای جدیدتر که میتوانند متنهای خیلی بلندتری بخوانند این مشکل را حل کردهاند؟ پاسخ دقیق این است که نه بهسادگی، و جواب به مدل و به طول متن بستگی دارد. دو پژوهش را کنار هم بگذارید تا ببینید چرا نمیشود پاسخ ساده داد.
منبع [سطح ۲]: وان و همکاران (کنفرانس NAACL 2025) روی خلاصهسازی متنهای بلند دیدند رفتار خطی نیست: با بلندتر شدن متن، خلاصهها ابتدا کمدقتتر میشوند، ولی بعد از حدی دقت دوباره بهتر میشود، چون مدل تمرکزش را به انتهای متن میبرد. arXiv:2410.23609
منبع [پیشچاپ داورینشده]: پژوهشی روی پنج زبان با ساختارهای متفاوت (انگلیسی، روسی، آلمانی، هندی و ویتنامی) نتیجه گرفت این سوگیری بیشتر خصلت خود مدل است تا خصلت زبان. یکی از یافتههایشان مستقیماً فرض رایج را نقض میکند: یک مدل مشخص، موقعیتهای انتهایی را ترجیح میداد نه ابتدایی. یافتهی دیگرشان این بود که وقتی در پرسش صریح گفته شود «پاسخ در فلان موقعیت است»، دقت در همهی زبانها کاهش پیدا کرد. arXiv:2505.16134
جمعبندی صادقانه: اینکه اطلاعات وسط متن کماهمیتتر گرفته میشود، پدیدهای مستند است. اینکه دقیقاً کدام موقعیت بهتر است، به مدل بستگی دارد و پژوهشها با هم اختلاف دارند. پس توصیهی عملی باید محافظهکارانه باشد.
پیامد عملی: نکتهی اصلی هر بخش را در ابتدا یا انتهای آن بخش بگذارید، نه وسط. این توصیه به هر دو حالت مقاوم است — چه مدل به ابتدا وزن بیشتری بدهد و چه به انتها. و طولانی کردن بیدلیل صفحه، بدون اینکه چیزی به آن اضافه شود، احتمال دفن شدن نکتهی اصلی در ناحیهی ضعیف را بالا میبرد.
۶.۳ اینها اشکال نیستند، خاصیت ساختارند
هر دو ضعف بالا خرابیهایی نیستند که در نسخهی بعدی وصله شوند. هر دو از انتخابهای بنیادی در طراحی میآیند. نفرین معکوس از این میآید که مدل بر حدس زدن ادامهی متن آموزش میبیند، و جهت در این کار ذاتی است. کمتوجهی به وسط متن از این میآید که ترتیب در این معماری اطلاعاتی است که از بیرون تزریق میشود، نه خاصیتی ساختاری. دانستن این تفاوت مهم است، چون تعیین میکند چقدر میشود روی برطرف شدنشان حساب کرد. ممکن است کمرنگ شوند. ولی برنامهریزی محتوایی بر این فرض که «نسخهی بعدی حلش میکند» شرطبندی است، نه راهبرد.
بخش 7 — محتوای شما چطور به دست مدل می رسد
تا اینجا دربارهی این حرف زدیم که مدل با متن چه میکند. حالا پرسش عملیتر: متن شما اصلاً چطور جلوی چشم مدل قرار میگیرد؟
۷.۱ مدل حافظه نیست، سیستم بازیابی است
یک تصور غلط رایج این است که برای دیده شدن در پاسخهای هوش مصنوعی، محتوای شما باید «داخل مدل» باشد. این تصور معماری واقعی را اشتباه میفهمد.
دو منبع کاملاً متفاوت اطلاعات وجود دارد.
- منبع اول — دانش حفظشدهی مدل: چیزی که در جریان آموزش داخل مدل رمزگذاری شده. این دانش ثابت است، تاریخ قطع دارد، و شما هیچ کنترلی روی آن ندارید.
- منبع دوم — متنی که در لحظهی پاسخدهی جلوی مدل گذاشته میشود. این دومی جایی است که کار شما در آن اتفاق میافتد.
تشبیه دقیق: امتحان حفظی در برابر امتحان با کتاب باز. در امتحان حفظی، دانشجو فقط به آنچه در ذهنش هست دسترسی دارد. در امتحان با کتاب باز، اول کتاب مربوط را برمیدارد، صفحهی مربوط را پیدا میکند، و بعد پاسخ مینویسد. پاسخهای هوش مصنوعی گوگل از نوع دوماند. کار شما این است که کتابتان در قفسهای باشد که او سراغش میرود.
نام فنی این سازوکار «بازیابیافزوده» یا RAG است. گوگل خودش این را در سند رسمیاش تعریف کرده است.
منبع [سطح ۱] — گوگل، راهنمای رسمی بهینهسازی برای هوش مصنوعی مولد: گوگل RAG را که آن را «مبناسازی» هم مینامد، تکنیکی توصیف میکند برای بهبود کیفیت، دقت و تازگی پاسخهای هوش مصنوعی، که برای بازیابی صفحههای وب مرتبط و بهروز از ایندکس جستوجو، به سیستمهای اصلی رتبهبندی جستوجو تکیه میکند. سپس سیستمهای گوگل اطلاعات مشخص آن صفحههای بازیابیشده را بررسی میکنند تا پاسخی قابلاتکاتر و مفیدتر تولید کنند، و لینکهای برجسته و قابل کلیک به صفحههای پشتیبان نشان میدهند.
به یک عبارت در این تعریف دقت کنید: «ایندکس جستوجو». نه یک ایندکس جداگانهی هوش مصنوعی. همان فهرست کتابخانهای که همیشه بوده. این نکته در بخش ۷.۴ به مهمترین نتیجهگیری این مقاله میرسد.
۷.۲ متن شما تکه تکه می شود — ولی این کار شما نیست
در سیستمهای بازیابی، معمولاً کل یک صفحه جلوی مدل گذاشته نمیشود. دلیلش ساده است: سقف متنی که مدل میتواند ببیند محدود است و هزینهی محاسبه با طول بالا میرود. پس سیستم قطعههایی از صفحه را انتخاب میکند. نام این کار تکهبندی است.
به زبان ساده: کتابدار کل کتاب پانصد صفحهای را روی میز شما نمیگذارد. چند صفحهی مربوط را جدا میکند و همان را میآورد.
این نکته در فضای فارسی سئو تبدیل به توصیهای شده که باید دربارهاش صریح بود. برداشت رایج این است که «باید محتوایتان را برای هوش مصنوعی تکهتکه بنویسید». گوگل صریحاً این را رد کرده و آن را در فهرست باورهای غلط آورده است.
منبع [سطح ۱] — گوگل، بخش رد باورهای غلط: هیچ الزامی نیست که محتوایتان را به قطعههای ریز بشکنید تا هوش مصنوعی بهتر بفهمدش. سیستمهای گوگل قادرند ظرافت چند موضوع در یک صفحه را بفهمند و قطعهی مرتبط را به کاربران نشان بدهند. گوگل اضافه میکند گاهی صفحهی کوتاهتر و گاهی بلندتر خوب کار میکند، طول ایدهآلی برای صفحه وجود ندارد، و صفحه را باید برای مخاطبتان بسازید نه صرفاً برای جستوجوی هوش مصنوعی مولد.
پس تمایز دقیق این است: سیستم تکهبندی میکند، شما نه. کار شما این نیست که صفحه را از قبل خرد کنید. کار شما این است که متن طوری نوشته شود که هر بخشش، اگر از متن کنده شد، همچنان معنا بدهد. این دو چیز کاملاً متفاوتاند و در بحثهای فارسی مدام با هم اشتباه میشوند.
یک نکتهی روششناختی هم بگویم. در فضای صنعت اعدادی دربارهی مقایسهی روشهای مختلف تکهبندی منتشر شده است. آن اعداد از آزمایشهای تجاری میآیند و در این مقاله نقلشان نمیکنم، چون سطح شواهدشان به معیار این مجموعه نمیرسد. مکانیزم را میشود توضیح داد؛ عدد را نه.
۷.۳ یک پرسش کاربر، چندین جست و جو
سازوکار دوم که گوگل رسماً توضیحش داده، «انشعاب کوئری» است.
منبع [سطح ۱] — گوگل: انشعاب کوئری مجموعهای از پرسشهای همزمان و مرتبط است که مدل تولید میکند تا اطلاعات بیشتری بخواهد و نتایج جستوجوی مرتبط بیشتری برای پاسخ به پرسش کاربر بیاورد. مثالی که خود گوگل میآورد: اگر پرسش اصلی کاربر «چطور چمنی را که پر از علف هرز است درست کنیم» باشد، پرسشهای منشعب ممکن است شامل «بهترین علفکشها برای چمن»، «حذف علف هرز بدون مواد شیمیایی» و «چطور از رشد علف هرز در چمن جلوگیری کنیم» باشد.
به زبان ساده: مثل پزشکی که برای یک شکایت ساده، چند آزمایش مختلف مینویسد. بیمار یک چیز گفته، ولی پزشک برای رسیدن به پاسخ مطمئن، چند مسیر جداگانه را همزمان بررسی میکند.
پیامد این سازوکار برای شما مهم است. کاربر یک چیز پرسیده، ولی سیستم چند جستوجوی جداگانه انجام داده است. هر کدام از آن جستوجوها یک در ورودی مستقل به پاسخ نهایی است. صفحهای که فقط برای پرسش اصلی نوشته شده، فقط از یک در میتواند وارد شود. صفحهای که به پرسشهای مجاور هم پاسخ داده، شانس بیشتری دارد.
و اینجا دقیقاً همانجایی است که این نتیجهگیری معمولاً غلط ادامه پیدا میکند. برداشت رایج این است که «پس برای هر پرسش منشعب یک صفحهی جدا بسازیم». گوگل این را هم صریح رد کرده است.
منبع [سطح ۱] — گوگل: گوگل هشدار میدهد که ساختن محتوای جداگانه برای هر شکل ممکنی که مردم ممکن است جستوجو کنند — از جمله بر پایهی پرسشهای منشعب — اگر اساساً برای دستکاری رتبهها یا پاسخهای هوش مصنوعی انجام شود، ناقض سیاست «سوءاستفاده از محتوای انبوه» است. گوگل اضافه میکند این راهبرد در بلندمدت هم بیاثر است، چون تعداد زیاد صفحه، سایت را باکیفیتتر یا مرتبطتر نمیکند.
پس ترجمهی درست این مکانیزم به عمل این است: عمق در یک صفحه، نه یک صفحه به ازای هر زیرپرسش. اگر مقالهای دربارهی موضوعی مینویسید، پرسشهای مجاوری را که خواننده طبیعتاً بعدش میپرسد در همان مقاله پوشش بدهید — نه اینکه ده صفحهی نازک بسازید.
۷.۴ نتیجه ی مهم: این هنوز سئوست
حالا هر سه رشته را به هم گره میزنیم. سیستم بازیابی، صفحهها را از ایندکس جستوجو برمیدارد. انشعاب کوئری هم از همان ایندکس نتیجه میگیرد. و صفحهای که در ایندکس نباشد، در هیچکدام از این دو مسیر وجود ندارد. گوگل این نتیجه را خودش، در همان سند رسمی، صریحتر از هر جمعبندی من نوشته است. این مهمترین جملهی کل این مقاله است و عیناً میآید.
نقل مستقیم [سطح ۱] — گوگل، راهنمای بهینهسازی سایت برای قابلیتهای هوش مصنوعی مولد در جستوجو: «From Google Search’s perspective, optimizing for generative AI search is optimizing for the search experience, and thus still SEO.» ترجمه: از منظر جستوجوی گوگل، بهینهسازی برای جستوجوی هوش مصنوعی مولد همان بهینهسازی برای تجربهی جستوجوست، و بنابراین همچنان سئوست.
گوگل در همان سند میگوید بهترین شیوههای سئو همچنان مرتبطاند، چون قابلیتهای هوش مصنوعی مولد در جستوجوی گوگل ریشه در سیستمهای اصلی رتبهبندی و کیفیت دارند. و دربارهی شرط ورود صریح است: برای اینکه صفحهای واجد شرایط نمایش در این قابلیتها باشد، باید ایندکس شده و واجد شرایط نمایش در جستوجوی گوگل همراه با خلاصهی متنی باشد.
پس آن اصطلاحهای تازه چه هستند؟ گوگل خودش تعریفشان را آورده: AEO یعنی بهینهسازی موتور پاسخ و GEO یعنی بهینهسازی موتور مولد، و هر دو اصطلاحاتیاند که برای توصیف کار متمرکز بر بهبود دیده شدن در تجربههای جستوجوی هوش مصنوعی به کار میروند. یعنی اینها نامهای تازهای برای یک هدفگذاری تازهاند، نه رشتهای جدا با قواعد جدا.
کل زنجیره در یک جمله: بدون خزش، ایندکسی نیست؛ بدون ایندکس، بازیابیای نیست؛ بدون بازیابی، هیچ استنادی به شما وجود ندارد. هر تاکتیکی که ادعا میکند این زنجیره را دور میزند، ادعایی است بدون مکانیزم. این همان نتیجهای است که مقالهی اول این مجموعه، «سئو چیست؟ یک مرجع مستند»، از راه دیگری به آن رسید؛ اگر آن را نخواندهاید، زمینهی این بخش آنجاست.
بخش 8 — پس چطور باید نوشت
قاعدهی این بخش ساده است: هر توصیه باید به مکانیزمی در بخشهای قبل ارجاع بدهد. هر توصیهای که چنین پشتوانهای ندارد، هرچقدر هم رایج باشد، در فهرست اول نمیآید.
۸.۱ شش توصیه که مکانیزم پشتشان است
- توصیهی یک — نکتهی اصلی هر بخش را در ابتدا یا انتهای آن بگذارید، نه وسط. (برگرفته از بخش ۶.۲) این توصیه به هر دو حالت سوگیری موقعیتی مقاوم است. و طولانی کردن بیدلیل متن، احتمال دفن شدن نکته را بالا میبرد.
- توصیهی دو — هر پاراگراف باید مستقلاً معنا بدهد. (برگرفته از بخشهای ۷.۲ و ۴.۳) نه به این معنا که متن را تکهتکه بنویسید — گوگل صریحاً این را رد کرده است — بلکه به این معنا که هیچ پاراگرافی برای فهمیده شدن، به نیمهی جملهای در پاراگراف قبل وابسته نباشد.
- توصیهی سه — پرسشهای مجاور یک موضوع را در همان صفحه پوشش بدهید. (برگرفته از بخش ۷.۳) یعنی پرسشهایی که خواننده بعد از این پرسش طبیعتاً میپرسد. و به هشدار گوگل دربارهی نساختن صفحهی جداگانه برای هر زیرپرسش پایبند بمانید.
- توصیهی چهار — املا و نگارش را در کل سایت یکدست کنید. (برگرفته از بخش ۲.۴) مخصوصاً نیمفاصله. سه املای یک واژه برای ماشین سه چیز متفاوتاند و اعتبار آن واژه را بین خودشان خرد میکنند.
- توصیهی پنج — ارجاع مبهم را کم کنید. (برگرفته از بخش ۴.۳) «این»، «آن»، «موضوع فوق». هر ارجاع مبهم، توجه مدل را بین چند نامزد تقسیم میکند. تکرار اسم ارزانتر از ابهام است.
- توصیهی شش — رابطههای مهم را دوطرفه بنویسید، ولی فقط جایی که به دانش حفظشدهی مدل تکیه میکنید. (برگرفته از بخش ۶.۱) نوشتن «الف، ب است» در یک صفحه، لزوماً «ب، الف است» را در حافظهی مدل نمیسازد. این توصیه عمداً آخر فهرست است: در مسیر بازیابی که بخش ۷ توضیح داد، متن شما جلوی چشم مدل قرار میگیرد و استثنای بخش ۶.۱ عمل میکند، پس اثر این توصیه از پنج توصیهی بالا کمتر است.
۸.۲ توصیه های رایجی که مکانیزم ندارند
اینها لزوماً مضر نیستند. فقط پشتوانهی مکانیزمی ندارند، و وقت و بودجهی شما محدود است.
تکرار مترادفها. (بخش ۳) در نقشهی معنا، مترادفها همسایهاند. تکرار دستیشان چیزی اضافه نمیکند. [سطح ۱] گوگل هم مستقیماً میگوید لازم نیست نگران باشید که همهی شکلهای ممکن جستوجوی یک موضوع را پوشش ندادهاید.
چگالی کلیدواژه. (بخش ۳.۵) هیچ مرحلهای در این مسیر وجود ندارد که نسبت تکرار یک واژه به کل متن را حساب کند و به آن امتیاز بدهد.
طول ثابت مقاله. (بخش ۲.۵) کلمه واحد پردازش نیست، و [سطح ۱] گوگل هم صریح میگوید طول ایدهآلی برای صفحه وجود ندارد.
فایل llms.txt. اینجا موضع گوگل کاملاً روشن است و باید مستقیم از خود سند نقل شود.
منبع [سطح ۱] — گوگل، بخش رد باورهای غلط: برای ظاهر شدن در جستوجوی گوگل، از جمله قابلیتهای هوش مصنوعی مولدش، لازم نیست فایلهای ماشینخوان تازه، فایلهای متنی هوش مصنوعی، یا نشانهگذاری خاصی بسازید، چون خود جستوجوی گوگل از آنها استفاده نمیکند. گوگل اضافه میکند اگر تصمیم بگیرید چنین فایلهایی را برای سرویسها یا سیستمهای دیگری که از آنها استفاده میکنند بسازید و نگه دارید، کاملاً بیاشکال است؛ این کار نه به دیده شدن و رتبهی سایت شما در جستوجوی گوگل آسیب میزند و نه کمک میکند، چون جستوجوی گوگل آنها را نادیده میگیرد.
دقت کنید این جمله چه میگوید و چه نمیگوید. میگوید جستوجوی گوگل از این فایلها استفاده نمیکند. نمیگوید هیچ سیستم دیگری در دنیا از آنها استفاده نمیکند. اگر هدف شما سیستمی غیر از جستوجوی گوگل است، این جمله دربارهی آن سیستم چیزی نگفته است.
تمرکز بیش از حد بر دادهی ساختاریافته. [سطح ۱] گوگل میگوید دادهی ساختاریافته برای جستوجوی هوش مصنوعی مولد الزامی نیست و نشانهگذاری ویژهای وجود ندارد که باید اضافه کنید؛ ولی توصیه میکند بهعنوان بخشی از راهبرد کلی سئو به استفاده از آن ادامه بدهید، چون به واجد شرایط شدن برای نتایج غنی در جستوجوی معمولی کمک میکند.
دنبال کردن «ذکر نام» غیرواقعی. [سطح ۱] گوگل میگوید قابلیتهای هوش مصنوعی مولدش میتوانند آنچه را در وب دربارهی محصولات و خدمات گفته میشود نشان بدهند، ولی تعقیب ذکر نام غیراصیل در سطح وب آنقدرها که به نظر میرسد مفید نیست، چون سیستمهای اصلی رتبهبندی روی محتوای باکیفیت تمرکز دارند و سیستمهای دیگر اسپم را مسدود میکنند.
۸.۳ آنچه گوگل خودش در صدر فهرست گذاشته
از میان همهی توصیههای آن سند، گوگل یکی را صریحاً بالاتر از بقیه گذاشته است.
منبع [سطح ۱] — گوگل: تولید محتوایی که مردم آن را یکتا، جذاب و مفید بیابند، احتمالاً در بلندمدت بیش از هر پیشنهاد دیگری در آن راهنما بر حضور سایت شما در جستوجوی هوش مصنوعی مولد اثر میگذارد.
و مشخص میکند منظورش از چنین محتوایی چیست. ویژگی اول، داشتن دیدگاه یکتاست: سیستمهای هوش مصنوعی گوگل به منابع متنوعی نگاه میکنند، پس داشتن دیدگاهی که متمایز باشد میتواند کمککننده باشد. مثالی که خودش میآورد گویاست: نقد دستاول یک محصول، دیدگاهی یکتا بر پایهی تجربهی شخصی میدهد، در حالی که خلاصهای از محتوای موجود صرفاً چیزی را بازگو میکند که جای دیگری در دسترس است.
ویژگی دوم، «غیرکالایی» بودن است. گوگل محتوای کالایی را محتوایی توصیف میکند که بر دانش عمومی بنا شده، میتوانست از هر کسی بیاید، و بینش تازهی کمی به خواننده اضافه میکند. و صریح میگوید محتوایی را که بهسادگی میتوانست توسط یک مدل هوش مصنوعی تولید شود بازیافت نکنید.
این نکته را کنار مکانیزم بخش ۳ بگذارید و اهمیتش روشن میشود. در نقشهی معنا، محتوایی که چیزی جز بازگویی محتوای موجود نیست، در ناحیهای مینشیند که هزاران صفحهی دیگر هم آنجا نشستهاند. سیستم انتخاب، هیچ دلیلی برای برداشتن شما از میان آنها ندارد.
ویژگی سومی که گوگل ذکر میکند برای خوانندهی این مقاله آشناست: سازماندهی محتوا به شکلی که به خواننده کمک کند. گوگل میگوید مردم معمولاً قدر آن را میدانند که صفحهها با پاراگرافها و بخشها سازماندهی شده باشند و عنوانهایی داشته باشند که ساختاری روشن برای پیمایش فراهم کنند.
بخش 9 — آنچه نمیدانیم
۹.۱ ترازنامه ی صادقانه ی این مقاله
با اطمینان بالا: روش توکن سازی و منطق الگوریتم BPE مستند است. نفرین معکوس و استثنای مهمش، و سوگیری موقعیتی، هر دو در پژوهش داوری شده مستند شدهاند. و موضع گوگل دربارهی نسبت سئو با جستوجوی هوش مصنوعی، سند رسمی دارد. سربار توکن برای زبانهای کم منبع هم اندازهگیری شده، ولی تاکنون فقط در پیش چاپهای داوری نشده.
با اطمینان متوسط: آنچه در بخش ۵ دربارهی داخل مدل آمد. شواهد واقعیاند، ولی روش، محدودیتهای اعلامشده دارد و بخشی از این یافتهها هنوز مستقلاً بازبینی نشده است.
بدون اطمینان: اندازهی هیچکدام از این اثرها در زبان فارسی. هیچ عددی در این مقاله دربارهی اینکه «فارسی چقدر جریمه میشود» نیامد، چون چنین عددی وجود ندارد.
۹.۲ چرا هیچ کس نمی تواند «فرمول دیده شدن در هوش مصنوعی» بفروشد
با آنچه در این مقاله دیدید، دلیلش روشن است. سیستمهای رتبهبندی داخلی گوگل منتشر نشدهاند. سازوکار دقیق انتخاب قطعه در پاسخهای هوش مصنوعی سند عمومی ندارد. و [سطح ۱] خود گوگل هشدار میدهد مراقب ابزارهای شخص ثالثی باشید که موفقیت در رتبه را وعده میدهند یا ادعا میکنند از سنجههای داخلی گوگل استفاده میکنند، چون هیچ ابزار شخص ثالثی به سیستمهای داخلی رتبهبندی یا هوش مصنوعی گوگل دسترسی ندارد.
این به معنای بیاثر بودن کار نیست. به معنای این است که کار روی مکانیزمهای شناختهشده انجام میشود، نه روی فرمولهای ادعایی. تفاوت این دو، تفاوت میان راهبرد و شرطبندی است.
۹.۳ پرسش های باز، به ویژه برای فارسی
چند پرسش که در این مقاله بیپاسخ ماندند، و بیپاسخ ماندنشان عمدی است.
- سربار توکن فارسی در مدلهای امروزی دقیقاً چقدر است؟ اندازهگیری منتشر شدهای پیدا نکردم.
- آیا یکدست کردن نیمفاصله در سطح یک سایت واقعی، اثر قابل اندازهگیری دارد؟ مکانیزم روشن است؛ اندازهی اثر نه.
- فارسی در آن «فضای مفهوم» مشترک کجا میایستد؟ پژوهشی که این فضا را توصیف کرد، فارسی را نسنجید.
- سوگیری موقعیتی در متن فارسی چطور رفتار میکند؟ پژوهش موجود پنج زبان را سنجید و فارسی جزوشان نبود.
این فهرست کوتاه، تصویر دقیقی از وضعیت میدهد: بدنهی دانش این حوزه تقریباً تماماً روی انگلیسی و چند زبان پرمنبع دیگر ساخته شده است. هر ادعایی دربارهی فارسی در این حوزه، تا وقتی دادهی فارسیزبان تولید نشود، تعمیم است نه یافته. و تعمیم را باید تعمیم نامید.
واژه نامه
همهی اصطلاحهایی که در این مقاله آمد، به ترتیب ظهور.
- موتور جستوجو: برنامهای که صفحههای اینترنت را جمع میکند و به پرسش کاربر پاسخ میدهد.
- خزش: فرایند پیدا کردن و برداشتن صفحههای تازه توسط موتور جستوجو.
- ایندکس: فهرست همهی صفحههایی که موتور جستوجو پیدا کرده و ذخیره کرده است.
- سئو: کارهایی که برای بهتر دیده شدن یک صفحه در نتایج جستوجو انجام میشود.
- الگوریتم: دستورالعمل گامبهگام برای انجام یک کار توسط کامپیوتر.
- مدل: برنامهای که بهجای قواعد دستی، از روی حجم زیادی مثال الگو یاد گرفته است.
- دادهی آموزشی: متنی که مدل روی آن آموزش دیده است.
- توکن: کوچکترین واحدی که مدل با آن کار میکند؛ چیزی بین حرف و کلمه.
- BPE: الگوریتمی که تعیین میکند متن به چه توکنهایی شکسته شود.
- بایت: کوچکترین واحد ذخیرهی داده در کامپیوتر.
- سربار توکن: هزینهی اضافیای که یک زبان به خاطر سهم کمش در دادهی آموزشی میپردازد.
- پنجرهی بافت: حداکثر مقدار متنی که مدل میتواند یکبار ببیند.
- بردار: فهرستی از عددها که مثل مختصات، جای یک چیز را مشخص میکند.
- امبدینگ: تبدیل یک واژه به بردار؛ دادن آدرس به واژه روی نقشهی معنا.
- شباهت کسینوسی: معیاری برای سنجش نزدیکی دو بردار بر اساس جهتشان.
- مکانیزم توجه: روشی که در آن هر واژه به همهی واژههای دیگر نگاه میکند و وزن اهمیت میدهد.
- ترنسفورمر: معماری معرفیشده در سال ۲۰۱۷ که پایهی همهی مدلهای زبانی بزرگ امروز است.
- ویژگی و مدار: الگوهای قابلشناسایی فعالیت داخل مدل، و زنجیرهی این الگوها.
- نفرین معکوس: ناتوانی مدل در نتیجهگیری جهت برعکس یک رابطهی آموخته.
- RAG یا بازیابی افزوده: سازوکاری که در آن سیستم اول صفحههای مرتبط را پیدا میکند و بعد از روی آنها پاسخ میسازد.
- تکه بندی: تقسیم یک صفحه به قطعههای کوچکتر توسط سیستم بازیابی.
- انشعاب کوئری: تولید چند پرسش مرتبط توسط سیستم برای پاسخ به یک پرسش کاربر.
- AEO و GEO: نامهای تازه برای بهینهسازی با هدف دیده شدن در پاسخهای هوش مصنوعی.
منابع
سطح ۱ — سند رسمی
- گوگل، «بهینهسازی سایت شما برای قابلیتهای هوش مصنوعی مولد در جستوجوی گوگل»، مستندات Google Search Central. منتشرشده ۱۵ مه ۲۰۲۶، آخرین بهروزرسانی ۱۰ ژوئیه ۲۰۲۶. — ستون بخشهای ۷ و ۸.
- نشانی: developers.google.com/search/docs/fundamentals/ai-optimization-guide
پژوهش آزمایشگاهی
- آنتروپیک، «ردیابی افکار یک مدل زبانی بزرگ»، ۲۷ مارس ۲۰۲۵. — ستون بخش ۵.
- نشانی: anthropic.com/research/tracing-thoughts-language-model
سطح ۲ — پژوهش داوری شده و منتشر شده
- واسوانی و همکاران، Attention Is All You Need، arXiv:1706.03762 — بخشهای ۱.۴ و ۴.
- سنریش، هدو و برچ، Neural Machine Translation of Rare Words with Subword Units، ACL 2016، arXiv:1508.07909 — بخش ۲.۲.
- گیج، فیلیپ، A New Algorithm for Data Compression، The C Users Journal، جلد ۱۲، شمارهی ۲، فوریه ۱۹۹۴، صفحات ۲۳–۳۸ — منشأ الگوریتم BPE، بخش ۲.۲.
- گازیت، شمیدمن، شمیدمن و پینتر، Splintering Nonconcatenative Languages for Better Tokenization، Findings of ACL 2025، arXiv:2503.14433 — بخش ۲.۴.
- وندلر و همکاران، Do Llamas Work in English؟، ACL 2024، arXiv:2402.10588 — بخش ۵.۲.
- برگلاند و همکاران، The Reversal Curse، ICLR 2024، arXiv:2309.12288 — بخش ۶.۱.
- لیو و همکاران، Lost in the Middle، TACL 2024، جلد ۱۲، صفحات ۱۵۷–۱۷۳، arXiv:2307.03172 — بخش ۶.۲.
- وان و همکاران، On Positional Bias of Faithfulness for Long-form Summarization، NAACL 2025، arXiv:2410.23609 — بخش ۶.۲.
پیش چاپ داوری نشده
- چرچیل و اسکینا، Reducing Tokenization Premiums for Low-Resource Languages، پیشچاپ arXiv:2601.13328 (ژانویه ۲۰۲۶) — بخش ۲.۳.
- تکلههایمانوت و نایدل، Tokenization Disparities as Infrastructure Bias، پیشچاپ arXiv:2510.12389 (اکتبر ۲۰۲۵) — بخش ۲.۳.
- منشیکوف و همکاران، Position of Uncertainty: A Cross-Linguistic Study of Positional Bias، پیشچاپ arXiv:2505.16134 (مه ۲۰۲۵) — بخش ۶.۲.
یادداشت دربارهی منابع: همهی منابع بالا پیش از استفاده مستقیماً باز و متنشان تطبیق داده شد. تفکیک «سطح ۲» از «پیشچاپ داورینشده» بر پایهی وجود یا نبود محل انتشار داوریشده انجام شده است؛ سه منبع دستهی دوم ممکن است بعداً داوری و منتشر شوند و آن وقت جایشان عوض میشود.