1347 подписчиков
Новая нейронка вышла, которая заточена для создания RAG. Мы сидим облизываемся, когда можно ее попробовать. Наши эксперименты говорят, что даже на абсолютно несистемной базе знаний компании можно создать неплохого ИИ - помощника, который в 80% случаев дает внятные ответы.
А тут ИИ прямо адаптирована под RAG. Почитайте сами. Осталось дождаться, когда сделает квантизацию и она влезет на нашу карту 3090.
p.s. Квантизация – это метод сжатия весов нейронной сети, который позволяет хранить веса моделей в более компактном виде. Этот подход необходим для уменьшения требований алгоритмов к вычислительным ресурсам и сжатия нейросетей так, чтобы их можно было запускать на менее мощных GPU с меньшим объемом памяти.
Около минуты
4 сентября 2024