11 подписчиков
Краткая история возвращение после некоторого затишья.
Я решил протестить идею бота для психологических консультаций на одной из платформ-конструкторов, где на основе готового ИИ можно было создать бота просто создав для него личность и дообучив на книгах, статьях по психологии.
Все получилось довольно просто. Но минус был в том, что это не твой бот в полном смысле. Ты зависишь от поставщика услуг, который может ограничить или закрыть бота.
Следующим шагом стало разворачивание своего сервера, поэтому я скооперировался с ребятами, которым понравилась моя идея бота для консультаций.
Мы развернули сервер с локальной моделью, в меру возможностей обучив ее, чтоб нейросеть адекватно себя вела и как можно меньше походила на второкурсницу психфака. Добавили возможность общаться с ботом голосом.
После внутренних тестов мы выкатили бота на фокус-группу и получили неплохую обратную связь для дальнейших доработок.
Короче, если вы захотите развивать своего бота, то помимо знаний и упорства в доработке вам понадобится около 5 000$ тупо на сервер, который бы смог поддерживать адекватную модель типа Llama 3.1 8B, чтобы она быстро генерировала разумные ответы. Ключевое тут быстро + разумные)
Для более крупных моделей, таких как 70B, бюджет может значительно превышать 70 000$, что делает их менее практичными для домашнего использования, но позволит выйти на серьезный уровень.
1 минута
3 марта 2025