В сфере генеративного искусственного интеллекта на текущий момент господствует GPT-4, однако такие конкуренты, как Claude от Anthropic и Llama от Meta с открытым исходным кодом, быстро продвигаются вперед, что заставляет строить предположения о следующей версии флагманской языковой модели от OpenAI. Хотя ожидание выхода GPT-5 в 2024 году не ослабевает, аналитики предостерегают от переоценки ее скорого появления из-за необходимости колоссальных вложений ресурсов.
Дэн Хендрикс, директор Центра безопасности ИИ, подчеркивает, что с каждой новой версией GPT вычислительные требования возрастают. Переход от GPT-4 к GPT-5 потребует ошеломляющего 100-кратного увеличения ресурсов, что сродни тому, как если бы один миллион графических процессоров H100 непрерывно работал в течение трех месяцев.
Это мнение разделяет и генеральный директор Anthropic Дарио Амодеи, который оценивает текущие расходы на обучение LLM в $1 млрд, а к 2025 году они вырастут до $5-10 млрд.
Экспоненциальный рост потребностей в вычислениях отражается в тенденциях энергопотребления. По прогнозам, устройства NVIDIA H100, развернутые в этом году, будут потреблять 13 000 ГВтч в год, что сравнимо с потреблением электроэнергии целыми странами. Ожидается, что к 2027 году мировое энергопотребление центров обработки данных вырастет до 85-134 ТВтч.
Эксперты предполагают, что для поддержания конкурентоспособности OpenAI, возможно, потребуется усовершенствовать процесс обучения, который в настоящее время опирается на "плохо контролируемые человеческие разговоры". Это соответствует ожиданиям постепенного выпуска GPT-4.5, а не смены парадигмы до GPT-5.