Современную языковую модель с 26 млрд параметров запустили на списанном сервере HP StoreVirtual, которому около тринадцати лет. Внутри — два процессора Xeon E5-2690 v2 поколения Ivy Bridge, память DDR3 и ни одной видеокарты. Результат — примерно 5,2 токена в секунду при генерации текста и около 16 токенов в секунду при обработке запроса. Это не рекорд скорости. Зато прекрасная демонстрация того, сколько можно выжать из старого железа, если понимать архитектуру модели, устройство процессора и внутренности движка вывода...