Корпорация Microsoft представила новую версию модели искусственного интеллекта Phi-3 Mini, которая стала первой из трех компактных моделей собственной разработки
Модель, получившая название Phi-3 Mini, состоит из 3,8 миллиарда параметров и обучается на наборе данных, который меньше по сравнению с массивом, используемым для обучения больших языковых моделей наподобие GPT-4. Она уже доступна на облачной платформе Azure, в Hugging Face и Ollama. Кроме того, Microsoft планирует выпустить модели Phi-3 Small с 7 миллиардами параметров и Phi-3 Medium с 14 миллиардами параметров.
Phi-3 Mini обучена на детских книгах — вернее, на сказках, которые детям обычно читают перед сном. Они отличаются тем, что в них используются более простые слова и упрощенная структура предложений, но при этом в сказках обсуждаются важные темы. Однако существующей детской литературы для тренировки модели все-таки не хватало.
Поэтому разработчики составили список из более чем 3000 тем и попросили ИИ написать еще больше детских книг специально для обучения Phi-3. Новая модель по сути дальше развивает предыдущие итерации — Phi-1 ориентирована на кодирование, Phi-2 учится рассуждать, а Phi-3 лучше справляется и с кодированием, и с рассуждениями. Но, хотя модели семейства Phi-3 и обладают общими знаниями, они не могут превзойти GPT-4 или другие большие языковые модели по широте охвата.
Здесь мы рассказываем, как устроен ChatGPT и как он вообще работает:
Freepik