OpenAI сталкивается со значительными трудностями в работе над моделью GPT-5, встречая как технические, так и организационные препятствия. Проект, известный как Project Orion, сильно отстает от графика и истощает ресурсы с угрожающей скоростью. Несмотря на более чем 18 месяцев разработки, прогресс оказался ниже ожидаемого, а каждая ступень обучения обходится примерно в 500 млн долларов.
Первоначальный оптимизм, подогреваемый инвестициями Microsoft и целью запустить систему к середине 2024 года, сменился разочарованием. Улучшения по сравнению с GPT-4, хотя и заметные, не оправдывают колоссальных финансовых затрат. Прирост производительности модели скорее постепенный, чем революционный, что заставляет задуматься об окупаемости таких инвестиций.
Основным камнем преткновения в разработке GPT-5 является нехватка высококачественных обучающих данных. Хотя в открытом доступе в интернете можно найти огромное количество информации, в нем нет разнообразных и высококачественных наборов данных, необходимых для обучения модели такого масштаба. В ответ на это OpenAI поручает экспертам генерировать свежие учебные материалы, такие как программный код и сложные математические задачи. Однако этот процесс идет крайне медленно. Для примера, GPT-4 обучался на 13 трлн токенов – число настолько огромное, что даже если 1000 человек будут писать по 5000 слов в день, на создание одного млрд токенов, не говоря уже о триллионах, уйдут месяцы.
Помимо технических трудностей, OpenAI сталкивается с внутренними неурядицами. Более 25 руководителей высшего звена, включая главного научного сотрудника Илью Суцкевера и технического директора Миру Мурати, покинули компанию в 2024 году.
В настоящее время OpenAI официально признала, что модель GPT-5 не будет готова к выпуску в 2024 году.