⚡ DeepDigest.ru arXiv cs.CL · 29 Jun 2026 Кэрри Чен предложила метод EntMTP для ускорения логического вывода в больших языковых моделях (LLM). Суть метода — в использовании многотокенного прогнозирования с учётом энтропии: планировщик автоматически переключается между разными схемами работы (топологиями внимания) в зависимости от того, насколько предсказуем текущий фрагмент текста. В тестах Humaneval, ShareGPT, GSM8k и Litbench EntMTP показал ускорение в 1,15–1,36 раза по сравнению с другими подходами (Hydra и Medusa). 🔗 Читать на сайте #arxivcscl #ИИ #технологии
EntMTP: новый способ ускорить работу больших языковых моделей
arXiv cs.CL · 29 Jun 2026
Кэрри Чен предложила метод EntMTP для ускорения логического вывода в больших языковых моделях (LLM). Суть метода — в использовании многотокенного прогнозирования с учётом энтропии: планировщик автоматически переключается между разными схемами работы (топологиями внимания) в зависимости от того, насколько предсказуем текущий фрагмент текста. В тестах Humaneval, ShareGPT, GSM8k и Litbench EntMTP показал ускорение в 1,15–1,36 раза по сравнению с другими подходами (Hydra и Medusa).
🔗 Читать на сайте #arxivcscl #ИИ #технологии
