Коллектив OpenAI, ответственный за создание чат-бота ChatGPT, займется новым проектом. Задачей новой команды станет «обуздание» сверхразумного искусственного интеллекта с той целью, чтобы не дать ему в его развитии выйти за определенные рамки (ссылка).
Руководителями группы специалистов станут Ян Лейке, занимающий пост главы отдела по контролю за искусственным интеллектом, и Илья Сцувере, выполняющий обязанности главного научного сотрудника в компании OpenAI. В интервью разработчики пояснили, что пока что их понятию «сверхразумного ИИ» ни одна система не соответствует, но такой механизм может появиться в ближайшее десятилетие. Коллектив приступит к работе, когда станет понятно, что этот ИИ по уровню развития превосходит интеллект самого умного человека на планете.
В задачи команды будет входить поиск отклонений в поведении искусственного интеллекта, создание масштабируемого метода обучения, а также разработка системы контроля обобщений. Для предупреждения возникновения нежелательных ситуаций разработчики планируют работать и развивать заведомо «несогласованные» модели ИИ, дабы на их основе потом определять, где и когда машина отошла от установленных стандартов.
На текущий момент стартап находится на ранней стадии запуска, однако задачи создатели распланировали на ближайшие четыре года. По мнению руководителей и представителей OpenAI, они должны заранее подготовиться к появлению сверхразумного ИИ, так как это может случиться в любой момент. Боязнь человека за то, что искусственный разум выйдет из-под контроля своих создателей является одним из самых популярных видений конца света нашей цивилизации.