Сэм Альтман говорит, что исследовательская стратегия, которая породила ChatGPT, исчерпала себя, и будущие успехи в области искусственного интеллекта потребуют новых идей.
Удивительные возможности ChatGPT, чатбота от стартапа OpenAI, вызвали всплеск нового интереса и инвестиций в область искусственного интеллекта. Но на прошлой неделе глава OpenAI предупредил, что стратегия исследований, породившая бота, исчерпана.
OpenAI в последние годы достигла ряда впечатляющих прогрессов в области искусственного интеллекта, работающего с языком, масштабируя уже существующие алгоритмы машинного обучения до ранее невообразимых размеров. Последним из этих проектов является GPT-4, обученный на триллионах слов текста и многих тысячах мощных компьютерных чипов. Этот процесс обошелся в более чем 100 миллионов долларов.
Однако глава компании, Сэм Альтман, говорит, что дальнейший прогресс не будет связан с увеличением размера моделей.
“Я думаю, что мы достигли конца эры, когда модели будут гигантскими, – сказал он аудитории на мероприятии в MIT (Массачусетский технологический институт) на прошлой неделе. – Мы будем улучшать их другими способами”.
Заявление Альтмана указывает на неожиданный поворот в гонке по разработке и внедрению новых алгоритмов искусственного интеллекта. С момента запуска ChatGPT в ноябре, Microsoft использовала основную технологию, чтобы добавить чатбота в свой поисковый движок Bing, а Google запустила конкурирующего чатбота по имени Bard. Многие люди побежали экспериментировать с использованием нового типа чатботов для помощи в работе или личных задачах.
Среди технологических стартапов, включая Anthropic, AI21, Cohere, и Character.AI, многие из которых имеют значительные ресурсы, усилия направлены на создание всё более крупных алгоритмов, чтобы догнать технологии OpenAI. Исходная версия ChatGPT была основана на немного улучшенной версии GPT-3, но теперь пользователи могут также получить доступ к версии, работающей на более мощной GPT-4.
Заявление Альтмана предполагает, что GPT-4 может быть последним крупным прорывом, который возникнет в рамках стратегии OpenAI. Он не сказал, какие исследовательские стратегии или техники могут занять его место. В статье, описывающей GPT-4, OpenAI говорит, что его оценки свидетельствуют о затухающей отдаче при увеличении размера модели. Альтман сказал, что есть также физические ограничения на то, сколько центров обработки данных может построить компания и насколько быстро она может их строить.
Ник Фросст, сооснователь Cohere, ранее работавший над искусственным интеллектом в Google, считает, что у Альтмана есть правильное чувство, что увеличение размеров моделей не будет работать бесконечно. Он также считает, что прогресс на “Transformer”, типе модели машинного обучения (созданная в 2017 году исследователями из Google Brain), находящемся в центре GPT-4 и его конкурентов, лежит за пределами масштабирования.
“Есть много способов сделать “Transformer” намного лучше и полезнее, и многие из них не связаны с добавлением параметров в модель”, – говорит он.
Фросст говорит, что новые конструкции и архитектуры моделей и дополнительная настройка на основе обратной связи от людей – это многообещающие направления, которые многие исследователи уже исследуют.
Каждая версия влиятельного семейства языковых алгоритмов OpenAI состоит из искусственной нейронной сети – программного обеспечения, в основе которого лежит принцип работы нейронов, – которая обучается предсказывать слова, которые должны следовать за заданной строкой текста.
Первая из этих языковых моделей, GPT-2, была анонсирована в 2019 году. В своей самой большой форме она имела 1,5 миллиарда параметров, что является мерой количества регулируемых связей между ее грубыми искусственными нейронами.
В то время это было чрезвычайно большим по сравнению с предыдущими системами, в частности благодаря тому, что исследователи OpenAI обнаружили, что масштабирование делает модель более согласованной. И компания сделала преемника GPT-2, GPT-3, анонсированного в 2020 году, еще более масштабным, с ошеломляющим количеством в 175 миллиардов параметров. Широкие возможности этой системы генерировать стихи, электронные письма и другой текст убедили другие компании и научно-исследовательские учреждения увеличивать размеры своих собственных AI-моделей до аналогичных и даже бóльших размеров.
После дебюта ChatGPT в ноябре создатели мемов и технические обозреватели предположили, что GPT-4, когда он появится, будет моделью головокружительного размера и сложности. Однако когда OpenAI наконец объявила о новой модели искусственного интеллекта, компания не сообщила, насколько она велика – возможно, потому, что размер уже не имеет значения. На мероприятии в Массачусетском технологическом институте Альтмана спросили, стоит ли обучение GPT-4 100 миллионов долларов – он ответил: “Больше”.
Хотя OpenAI держит размер и внутреннее устройство GPT-4 в секрете, вероятно, некоторая его интеллектуальная способность уже исходит не только от масштаба. Вполне возможно, что он использовал метод подкрепляющего обучения с обратной связью, который применялся для улучшения ChatGPT. Этот метод предполагает, что люди оценивают качество ответов модели, чтобы направить ее на предоставление ответов, которые с большей вероятностью будут оценены как высококачественные.
Удивительные возможности GPT-4 поразили некоторых экспертов и вызвали дебаты о потенциале ИИ для трансформации экономики,а также распространения дезинформации и ликвидации рабочих мест. Некоторые эксперты по искусственному интеллекту, технологические предприниматели, включая Илона Маска, и ученые недавно написали открытое письмо, призывающее на шестимесячный перерыв в разработке чего-либо более мощного, чем GPT-4.
На прошлой неделе в Массачусетском технологическом институте Альтман подтвердил, что его компания в настоящее время не занимается разработкой GPT-5.
“В предыдущей версии письма утверждалось, что OpenAI прямо сейчас разрабатывает GPT-5”, – сказал он. “Мы не занимаемся и не будем заниматься в течение некоторого времени”.
