Компания Microsoft сформировала команду для разработки более компактных моделей искусственного интеллекта. Таким образом компания хочет сделать ИИ намного дешевле, чем сейчас. В то же время компания может стать гораздо менее зависимой от OpenAI.
По данным The Information, новую команду возглавит Миша Биленко, вице-президент Azure AI Cognitive Services в Microsoft. Группа будет подчинена подразделению Azure. Предполагаемые малые языковые модели (SLM) должны занимать гораздо меньше вычислительной мощности, чем существующие модели. В настоящее время почти все ИИ-сервисы Microsoft работают (в основном) на моделях OpenAI, таких как GPT-3, GPT-4 и GPT-4-Turbo.
Эти модели LLM потребляют энергию и воду: например, каждые 40 вычислений ChatGPT потребляют литр воды. Для максимально быстрого запуска таких моделей необходимы производительные графические процессоры Nvidia H100. Другие технологические гиганты, такие как Google и AWS, борются с OpenAI и Microsoft, чтобы заполучить сотни тысяч таких чипов. Таким образом, определенно есть преимущество в создании более легких моделей, которые не только потребляют меньше энергии, но и могут быть запущены на менее внушительном оборудовании.
Цель команды Microsoft - создать SLM, которые смогут конкурировать с моделями OpenAI. В конце прошлого года они уже представили модель Phi-2, которая была обучена на высококачественных данных и имеет "всего" 2,7 миллиарда параметров. Тогда несколько тестов показали, что относительно небольшая модель была конкурентоспособна с гораздо более крупными конкурентами, такими как Llama 2-7B от Meta или предложениями Google.
Так что такое развитие событий не является чем-то неожиданным. Однако зависимость от OpenAI становится больной точкой для Microsoft. После споров вокруг совета директоров OpenAI недолго думали, что генеральный директор Сэм Альтман переедет в Редмонд, но с тех пор все изменилось. Кроме того, Microsoft пришлось довольствоваться вспомогательной ролью в совете директоров, в котором она не имеет права голоса, несмотря на миллиардные инвестиции.
Судебные иски против OpenAI и Microsoft, возможно, также подтолкнули последнюю к более независимой деятельности. Имея собственные модели, обученные на лицензионных или бесплатных данных, Microsoft могла бы гарантировать, что Copilot и другие ИИ-сервисы смогут продолжать существовать, если модели GPT от OpenAI будут запрещены судом. Хотя такое решение вряд ли будет принято в ближайшее время, Microsoft не может просто ждать.
