OpenAI запускает новое подразделение выравнивания для борьбы с рисками сверхинтеллектуального ИИ

Создатели ChatGPT объявили, что компания выделит 20% своей вычислительной мощности в течение следующих четырех лет, чтобы не дать сверхразумному ИИ «стать изгоем».

«В настоящее время у нас нет решения для управления или управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля», — написали Ян Лейке и Илья Суцкевер в блоге OpenAI, компании, стоящей за самой известной генеративной моделью большого языка ИИ, ChatGPT. Они добавили, что, хотя сверхинтеллект может показаться далеким, некоторые эксперты считают, что он может появиться в этом десятилетии.

Современные методы согласования ИИ включают обучение с подкреплением на основе обратной связи с человеком, но Лейке и Суцкевер заявили, что по мере того, как системы ИИ становятся умнее людей, на людей больше нельзя полагаться в управлении технологией.

[ Связанный: Как ИИ помогает службе поддержки ]

«Современные методы выравнивания не будут масштабироваться до сверхинтеллекта. Нужны новые научно-технические прорывы», — написали они.

Суцкевер является соучредителем и главным научным сотрудником OpenAI, а Лейке — исследователем машинного обучения. Они будут совместно руководить новой командой Superalignment OpenAI. Чтобы выполнить свою миссию, в течение следующих четырех лет подразделение будет иметь доступ к 20% вычислительных мощностей компании для создания «исследователя автоматизированного выравнивания человеческого уровня», который может быть расширен для наблюдения за сверхинтеллектом.

Лейке и Суцкевер заявили, что для того, чтобы привести автоматизированного исследователя в соответствие с человеческой этикой, необходимо использовать трехэтапный подход: разработать масштабируемый метод обучения; валидировать полученную модель; и стресс-тест всего конвейера выравнивания.

«Мы ожидаем, что наши исследовательские приоритеты будут существенно меняться по мере того, как мы узнаем больше о проблеме, и мы, вероятно, добавим совершенно новые области исследований», — написали они, добавив, что в будущем планируется поделиться большей дорожной картой подразделения.

OpenAI признает необходимость смягчения потенциального вреда ИИ

Это не первый раз, когда OpenAI публично признает необходимость снижения рисков, связанных с нерегулируемым ИИ. В мае генеральный директор компании Сэм Альтман подписал открытое письмо, в котором говорится, что контроль над технологией должен быть главным глобальным приоритетом, поскольку эволюция ИИ может привести к вымиранию.

«Снижение риска вымирания ИИ должно быть глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война», — говорится в письме.

OpenAI также имеет специальный раздел на своем веб-сайте, где общественность может получить доступ к материалам, связанным с тем, что компания называет разработкой «безопасного и ответственного ИИ», наряду с уставом, в котором изложены принципы, которых она придерживается для выполнения своей миссии. Тем не менее, они в значительной степени связаны с концепцией общего искусственного интеллекта (AGI) — высокоавтономных систем, которые превосходят людей в наиболее экономически ценной работе.

«Мы попытаемся напрямую построить безопасный и полезный AGI, но также будем считать нашу миссию выполненной, если наша работа поможет другим достичь этого результата», — говорится в хартии, которая была опубликована в 2018 году.