1318 подписчиков
Начали внедрять ИИ на своих серверах и своих видео-картах. Поделюсь промежуточными результатами...
Вот текущие достижения - 250 токенов в секунду (около 600 символов русского языке в секунду) на одной видео-карте (у нас их две), на ИИ llama3 8b контекст 8k.
Если сказать простыми словами - при запуске в эксплуатацию, мы сможем генерировать контент на русском языке со скоростью ~1200 символов в секунду. И это будет нам стоить чуть больше 0 руб. (я не считаю незначительные накладные расходы на свои сервера).
Контекстное окно ~20 000 символов русского языка... иными словами, мы можем взять ~10 страниц текста на листе А4 и "скормить" это дело в нашу ИИ с просьбой сделать тот или иной анализ.
К сожалению, мы купили дешевые видеокарты, которые не позволяют нам увеличить размер контекстного окна. Видимо придется потом их продать и купить более мощные... Тут я чуть ступил :)
p.s. на картинке именно наша карта, у спеца в разборе-сборе
Около минуты
29 мая 2024