В новой статье трио исследователей Google DeepMind обнаружили кое-что о моделях искусственного интеллекта, что может помешать планам их работодателя по созданию более совершенных ИИ.
Написанная исследователями DeepMind Стивом Ядловски, Лириком Доши и Нилешем Трипуранени, статья, еще не прошедшая рецензирование, раскрывает то, что многие люди наблюдали в последние месяцы: что сегодняшние модели искусственного интеллекта не очень хороши в получении результатов за пределами своих обучающих данных.
Статья, посвященная GPT-2 от OpenAI, которая, да, на две версии отстает от более современной, посвящена так называемым моделям—трансформерам, которые, как следует из их названия, представляют собой модели искусственного интеллекта, преобразующие один тип входных данных в другой тип выходных данных.
Буква "T" в архитектуре GPT OpenAI расшифровывается как "трансформатор", и этот тип модели, который впервые был теоретически предложен группой исследователей, включая других сотрудников DeepMind, в статье 2017 года под названием "Внимание - это все, что вам нужно", часто считается тем, что может привести к искусственному общему интеллекту (AGI), или искусственный интеллект человеческого уровня, потому что, как следует из рассуждений, это тип системы, которая позволяет машинам подвергаться интуитивному "мышлению", подобному нашему собственному.
Хотя перспективы transformers значительны — модель искусственного интеллекта, способная выходить за рамки своих обучающих данных, на самом деле была бы потрясающей, — по крайней мере, когда дело доходит до GPT-2, все еще остается желать лучшего.
"Когда нам представляют задачи или функции, которые выходят за рамки их данных предварительного обучения, мы демонстрируем различные режимы отказа трансформаторов и ухудшение их обобщения даже для простых задач экстраполяции", - объясняют Ядловски, Доши и Трипуранеми.
Проще говоря, если модель-трансформер не обучена на данных, связанных с тем, что вы просите ее сделать, даже если поставленная задача проста, она, вероятно, не сможет ее выполнить.
Однако вас можно простить за то, что вы думаете иначе, учитывая кажущиеся огромными наборы обучающих данных, используемые для создания GPT-моделей большого языка OpenAI (LLM), которые действительно очень впечатляют. Подобно ребенку, отправленному в самые дорогие дошкольные учреждения с самым высоким рейтингом, в этих моделей было впихнуто столько знаний, что не осталось ничего, чему бы они не были обучены.
Конечно, есть предостережения. На данный момент GPT-2 - это древняя история, и, возможно, в ИИ есть какое-то новое свойство, когда при достаточном количестве обучающих данных он начинает устанавливать связи за пределами этой информации. Или, может быть, умные исследователи придумают новый подход, который выйдет за рамки ограничений нынешней парадигмы.
Тем не менее, результаты этого открытия отрезвляют самую шумиху вокруг искусственного интеллекта. По сути, в статье, похоже, утверждается, что лучший подход на сегодняшний день по—прежнему эффективен только в тех областях, по которым он был тщательно обучен - это означает, что, по крайней мере, на данный момент ИИ впечатляет только тогда, когда он опирается на опыт людей, работа которых была использована для его обучения.
С момента выпуска в прошлом году ChatGPT, который был построен на платформе GPT, прагматики призывали людей умерить свои ожидания в отношении ИИ и приостановить свои предположения о AGI — но осторожность гораздо менее привлекательна, чем руководители компаний, видящие знаки доллара, и предсказатели, заявляющие о разумности ИИ. Попутно даже у самых эрудированных исследователей, похоже, сложились разные представления о том, насколько на самом деле умны лучшие современные LLM, причем некоторые верят, что искусственный интеллект становится способным к такого рода скачкам в мышлении, которые на данный момент отделяют людей от машин.
Эти предупреждения, которые теперь подкреплены исследованиями, похоже, не совсем достигли ушей генерального директора OpenAI Сэма Альтмана и генерального директора Microsoft Сатьи Наделлы, которые на этой неделе сообщили инвесторам, что они планируют "создавать AGI вместе".
Google DeepMind, безусловно, тоже не застрахован от такого рода пророчеств.
В интервью подкасту в прошлом месяце соучредитель DeepMind Шейн Легг сказал, что, по его мнению, существует 50—процентная вероятность достижения AGI к 2028 году - этого убеждения он придерживается уже более десяти лет.
"Нет ни одной вещи, которая могла бы это сделать, потому что я думаю, что такова ее природа", - сказал Легг техническому подкастеру Дваркешу Пателю. "Речь идет об общем интеллекте. Поэтому я должен был бы убедиться, что [система искусственного интеллекта] может делать много-много разных вещей и в ней не будет пробелов".
Но учитывая, что три сотрудника DeepMind теперь обнаружили, что модели-трансформеры, похоже, не способны делать многое из того, чему их не обучали, похоже, что coinflip просто может не понравиться их боссу.
