Разные AI-модели по-разному обрабатывают неанглийские языки на уровне токенов. На примере перевода The Bitter Lesson видно, что у Anthropic некоторые языки становятся сильно дороже: китайский — 1,71×, арабский — 2,86×, хинди — 3,24×. У OpenAI эти значения ниже: китайский — около 1,15×, арабский — 1,31×, хинди — 1,37×. Это значит, что одна и та же задача может стоить разным компаниям по-разному просто из-за языка. Gemini и Qwen в тестах выглядели эффективнее для неанглийских языков, а китайские модели лучше адаптированы к китайскому. При выборе AI-модели нужно смотреть не только на цену за миллион токенов, а на реальную стоимость работы с вашим языком. #ИИ #локализация #токены 🔳 IT Vibe News
ИИ может быть дороже просто из-за языка
Разные AI-модели по-разному обрабатывают неанглийские языки на уровне токенов.
На примере перевода The Bitter Lesson видно, что у Anthropic некоторые языки становятся сильно дороже: китайский — 1,71×, арабский — 2,86×, хинди — 3,24×. У OpenAI эти значения ниже: китайский — около 1,15×, арабский — 1,31×, хинди — 1,37×.
Это значит, что одна и та же задача может стоить разным компаниям по-разному просто из-за языка.
Gemini и Qwen в тестах выглядели эффективнее для неанглийских языков, а китайские модели лучше адаптированы к китайскому.
При выборе AI-модели нужно смотреть не только на цену за миллион токенов, а на реальную стоимость работы с вашим языком.
#ИИ #локализация #токены
