Вы запускаете языковую модель на ноутбуке, проверяете скорость — вроде работает. Подключаете её к программному помощнику, просите исправить код и несколько минут смотрите на неподвижный курсор. Возникает понятное подозрение: компьютер не тянет. Но значительную часть ожидания может создавать программа, которая управляет моделью. Автор исследования Nine coding harnesses vs. your laptop сравнил девять таких программ на одном MacBook Pro. Модель, оборудование и основные настройки были одинаковыми, а ожидание перед первым токеном различалось от 12 до 226 секунд...