1357 подписчиков
Ну вот, приехала наша прелесть. Видео-карта 3090, цена 65к руб. На ней будем запускать ИИ Gemma2 и использовать для генерации текста. Б/у но для наших целей вполне подойдет (майнили на ней, пыль видна, но проверили - рабочая полностью, для ИИ подойдет).
Я вот пишу эти строки и читаю, что вышла новая коммерческая ИИ от openAI - GPT-4o mini, которая, как пишут, не хуже версии 3.5 Turbo, но дешевле на 60%. И вот это уже ставит вопрос ребром - своя ИИ или коммерческая по бросовой цене... :) В любом случае хочется попробовать в деле Gemma2 на своем сервере и потом сделать вывод как лучше.
p.s. вначале думали 4090 карту, но там цена сильно выше, а скорость генерации только на 20% лучше. В итоге остановились на 3090... Будем, наверное, делать свою ферму из них.
Около минуты
19 июля 2024