18 подписчиков
У GPT-4 появился сильный конкурент: Nvidia представила Nemotron 4. Это оупенсорс-модель на 340 миллиардов параметров.
Как и у другого конкурента, Llama 3, доступно три версии нейронки: Base, Instruct и Reward. LLM от Nvidia обучена на 9 триллионах токенов.
Судя по результатам тестов, модель по некоторым параметрам не уступает последнему релизу OpenAI, а местами даже превосходит GPT-4.
Nemotron 4 умеет кодить на 40 языках программирования и понимает более 50 мировых языков. У модели есть лицензия Apache 2.0, что разрешает её коммерческое использование. Есть функция чат-бота, генерации контента и т.д.
Для работы модели достаточно двух GPU A100 и 1.3 террабайт памяти. Главная особенность новой Nemotron — её можно использовать для обучения других LLM.
Кроме того, Nvidia предоставила открытый доступ к датасету HelpSteer2. Это набор данных, отражающий человеческие предпочтения на задачи для нейросети, которые сами пользователи сочли наиболее полными и полезными.
Благодаря этим данным версия Reward постоянно дообучается и делает свои ответы ещё лучше.
Около минуты
15 июня 2024