ChatGPT, чат-бот, созданный компанией OpenAI, произвел фурор в мире искусственного интеллекта, а его впечатляющие возможности вызвали новый интерес и инвестиции в эту область. Однако генеральный директор OpenAI недавно предупредил, что исследовательская стратегия компании, которая привела к созданию ChatGPT, больше не является жизнеспособной. Остается только догадываться, откуда возьмутся будущие прорывы в области ИИ.
В последние годы OpenAI добилась значительных успехов в обработке естественного языка (NLP), используя существующие алгоритмы машинного обучения и масштабируя их до беспрецедентных размеров. GPT-4, последний и самый крупный из этих проектов, по оценкам, был обучен с использованием триллионов слов текста и тысяч мощных компьютерных чипов, что обошлось более чем в 100 миллионов долларов.
Несмотря на эти впечатляющие достижения, генеральный директор OpenAI Сэм Альтман заявил, что эра создания все более крупных моделей подходит к концу. "Я думаю, что мы находимся в конце эры, когда это будут гигантские, гигантские модели", - сказал он на мероприятии, проведенном в Массачусетском технологическом институте. "Мы сделаем их лучше другими способами".
Это неожиданное развитие событий может иметь последствия для гонки по разработке и внедрению новых алгоритмов ИИ. С момента запуска ChatGPT компания Microsoft уже включила лежащую в его основе технологию в свою поисковую систему Bing, а Google запустил конкурирующий чат-бот под названием Bard. Другие хорошо финансируемые стартапы, включая Anthropic, AI21, Cohere и Character.AI, также работают над созданием все более крупных алгоритмов, чтобы конкурировать с технологией OpenAI.
Заявление Альтмана говорит о том, что GPT-4 может стать последним крупным достижением в рамках стратегии OpenAI, которая заключается в том, чтобы просто делать модели больше и скармливать им все больше данных. Оценки компании уже говорят о том, что отдача от увеличения размера модели уменьшается. Кроме того, существуют физические ограничения на то, сколько центров обработки данных может построить OpenAI и как быстро она может их построить. Будущее исследований и разработок в области ИИ может потребовать новых стратегий и методов, помимо простого увеличения масштаба моделей.
Ник Фрост, соучредитель компании Cohere и бывший исследователь ИИ в Google, согласен с утверждением Альтмана о том, что бесконечное масштабирование моделей не является устойчивой стратегией для достижения прогресса в ИИ. Он считает, что есть другие способы улучшить трансформаторы - тип модели машинного обучения, используемый в GPT-4 и его конкурентах. "Есть много способов сделать трансформаторы намного лучше и полезнее, которые не связаны с добавлением параметров в модель", - сказал он. Фрост считает, что изучение новых конструкций или архитектур моделей ИИ, а также тонкая настройка на основе обратной связи с человеком являются перспективными направлениями будущих исследований.
Языковые алгоритмы OpenAI, включая GPT-4, основаны на искусственных нейронных сетях, которые обучены предсказывать слова, которые должны следовать за заданной строкой текста. Эти нейронные сети вдохновлены тем, как работают нейроны в мозге, и являются ключевым компонентом современного машинного обучения. Хотя в прошлом масштабирование моделей было успешной стратегией для улучшения ИИ, сейчас исследователи ищут новые способы улучшить эти нейронные сети, не ограничиваясь простым добавлением дополнительных параметров в модель.
В 2019 году OpenAI объявила о выпуске GPT-2, первой языковой модели в своей серии, которая имела в общей сложности 1,5 миллиарда параметров, что делало ее большой системой на тот момент. Масштабирование модели улучшило ее согласованность и подготовило почву для выпуска GPT-3 в 2020 году, которая имела впечатляющие 175 миллиардов параметров. Способность GPT-3 генерировать стихи, электронные письма и другие виды текста побудила другие компании и исследовательские институты довести свои собственные модели ИИ до аналогичных и даже больших размеров.
Несмотря на шумиху вокруг выхода ChatGPT и ожидания того, что GPT-4 будет еще больше и сложнее, OpenAI не раскрыла размер своей новейшей языковой модели. Вполне вероятно, что интеллект GPT-4 обусловлен не только масштабом, поскольку генеральный директор OpenAI Сэм Альтман предположил, что эра гигантских моделей может закончиться. Возможно, для расширения возможностей GPT-4 использовалось обучение с подкреплением и обратной связью от человека - этот метод уже применялся для улучшения ChatGPT. Хотя внутренняя работа GPT-4 остается в секрете, кажется очевидным, что OpenAI ищет способы улучшить свои языковые модели, не ограничиваясь увеличением их размера.
Выпуск GPT-4 вызвал у некоторых экспертов опасения по поводу потенциального влияния ИИ на экономику и общество. Хотя впечатляющие возможности GPT-4 поразили многих, есть также опасения, что технология может распространять дезинформацию и ликвидировать рабочие места. Так, группа экспертов по ИИ, технологических предпринимателей, включая Элона Маска, и ученых недавно опубликовала открытое письмо с призывом взять шестимесячную паузу в разработке любой технологии ИИ, более совершенной, чем GPT-4.
На недавнем мероприятии, состоявшемся в Массачусетском технологическом институте, генеральный директор OpenAI Сэм Альтман подтвердил, что компания в настоящее время не занимается разработкой GPT-5. Альтман пояснил, что в предыдущей версии письма предполагалось, что OpenAI работает над GPT-5, но это не так. Он сказал: "Мы не работаем и не будем работать в течение некоторого времени". Опасения, высказанные экспертами, и открытое письмо свидетельствуют о необходимости тщательного рассмотрения потенциальных последствий развития технологий ИИ.
