ماشین فارسی را مانند انسان «نمی‌خواند». متن ابتدا به نویسه‌های کدگذاری‌شده، سپس به قطعه‌هایی به نام توکن و در نهایت به بازنمایی‌های برداری وابسته به بافت تبدیل می‌شود. فارسی در هر سه لایه ویژگی‌هایی دارد که پردازش را دشوارتر یا پرهزینه‌تر می‌کند: نویسه‌های هم‌شکل با کد متفاوت، مرز واژه‌ی ناپایدار، نیم‌فاصله، ساخت‌واژه‌ی غنی و داده‌ی آموزشی کمتر. با این حال، از «توکن بیشتر» نمی‌توان مستقیم به «فهم ضعیف‌تر» رسید. شواهد
