1294 подписчика
Спросили в чате скорость генерации текста с помощью ИИ, если вы развернете ее у себя на сервере. Я записал видео, чтобы вы оценили результат. В данном видео ИИ работает генеративно - пишет рассказ и это сложнее, чем сделать рерайт текста.
На видео работает ИИ mistral nemo 12b на одной карте 3090. Контекстное окно 60к токенов (120 000 символов русского языка, если грубо).
Около минуты
22 сентября 2024