Появление GPT-4 знаменовала новую веху в развитии технологий генеративного ИИ. Однако в свете растущей конкуренции от Llama и других моделей, а также экспоненциально растущих вычислительных затрат на обучение последующих итераций, перспективы скорого выхода GPT-5 становятся все более туманными. Согласно оценкам Дэна Хендрикса из Центра безопасности ИИ, каждая новая итерация GPT требует примерно в 10 раз больше вычислительных мощностей по сравнению с предыдущей. Так, для GPT-5 потребуется около 1 млн чипов Н100, работающих непрерывно в течение 3 месяцев, то есть объем ресурсов, недоступный даже для OpenAI в обозримом будущем.Подтверждением этой гипотезы служат слова Дарио Амодеи из Anthropic о том, что текущие затраты на обучение передовой модели составляют $1 млрд, а к 2025 году могут вырасти до $5-10 млрд. Это соответствует 10-кратному росту мощностей относительно GPT-4, который разумно ожидать лишь для GPT-4.5.В то же время конкуренты активно наступают. 70-миллиардная Llama 3 от Meta уже обогнала все другие открытые модели, а будущая 405-миллиардная версия способна бросить вызов даже GPT-4. Более того, эксперты полагают, что для качественного рывка OpenAI придется кардинально изменить подход к обучению, отказавшись от "наивных" методов. Таким образом, в ближайшее время следует ожидать скорее выхода итеративной модели GPT-4.5, нежели полноценного GPT-5, требующего недостижимых на данный момент вычислительных мощностей. Конкуренты же продолжат активно сокращать отставание.
OpenAI может выпустить в этом году GPT-4.5 вместо GPT-5 из-за нехватки мощностей
23 апреля 202423 апр 2024
30
1 мин