В чате поделились, что можно выжать на карте 5090 (у меня такая стоит в игровом ПК) на новой открытой модели от openAI которая большая (умная). Ну около 10 токенов в секунду, если я не ошибаюсь в цифрах на картинке, что дает нам около 35 символов русского языка в секунду на ответах. Это не много, скажем прямо, но для личного использования вполне подойдет. Русский ИТ бизнес
В чате поделились, что можно выжать на карте 5090 (у меня такая стоит в игровом ПК) на новой открытой модели от openAI которая большая (умная).
Ну около 10 токенов в секунду, если я не ошибаюсь в цифрах на картинке, что дает нам около 35 символов русского языка в секунду на ответах. Это не много, скажем прямо, но для личного использования вполне подойдет.
