Новое поколение лабораторий ИИ сосредоточено на рекурсивном самосовершенствовании — но эта цель остается неуловимой. — techcrunch.com
Говоря простыми словами, RSI (рекурсивный самосовершенствующийся интеллект) — это система ИИ, способная непрерывно обновлять саму себя. Как только системы ИИ смогут лучше людей управлять циклом обновлений, этот процесс может стать замкнутым контуром, ограниченным лишь доступной им вычислительной мощностью, и люди станут ненужными или даже бесполезными.
Страшно это или нет, но именно к такому видению стремятся многие лаборатории ИИ.
Ранее в этом месяце известный исследователь ИИ Ричард Сохер запустил проект с говорящим названием Recursive Superintelligence, поставив перед собой явную цель — RSI. «Наш основной фокус — создание по-настоящему рекурсивного, самосовершенствующегося суперинтеллекта в масштабе», — рассказал Сохер TechCrunch на запуске, — «что означает, что весь процесс выдвижения идей, реализации и проверки исследовательских гипотез будет автоматизирован».
Ряд других выдающихся исследователей уже преследуют ту же цель, надеясь на прорыв, который сделает возможным рекурсивное самосовершенствование.
Один из самых известных — Алекс Карпати, легендарная фигура из Tesla и OpenAI, который использует рои агентов для обучения больших языковых моделей (LLM) на простых задачах в рамках проекта под названием Auto-Research. Карпати необычайно открыт в отношении проекта, регулярно сообщая о вехах в X (Twitter) и предоставляя строительные блоки через публичный репозиторий GitHub. Пока что работа в основном ограничивалась незначительными улучшениями модели масштаба GPT-2 — как отметил Карпати в марте: «Это пока не новаторское, прорывное „исследование“» — но этого оказалось достаточно, чтобы убедить многих других исследователей последовать за мечтой RSI. А поскольку Карпати теперь работает над предварительным обучением в Anthropic, у него будет достаточно возможностей применить эту идею в большем масштабе.
Adaption, основанная выпускницей Cohere и Google Сарой Хукер, недавно запустила аналогичный инструмент под названием AutoScientist в попытке автоматизировать передовое обучение. Подобно автоисследователям Карпати, система обучает агентов вносить постепенные улучшения — но для Adaption цель состоит в том, чтобы упростить обучение полномасштабной передовой модели. Если те же исследователи начнут двигать передовую дальше, система может быстро превратиться во что-то очень похожее на RSI.
Основатель Disarray Дорис Синь привлекла более пристальное внимание к RSI, когда ее самообучающийся агент машинного обучения завоевал 28 медалей на недавнем соревновании Kaggle, обойдя многих агентов, обученных людьми. По ее мнению, главная проблема — это надежность.
«Я бы утверждала, что при бесконечных вычислениях и бесконечном горизонте времени мы уже там», — сказала Синь. «Я хочу доказать, что это на самом деле не творческое начинание. Это просто много рутинной инженерии».
Пока не достигнуто
Существует также множество свидетельств того, что индустрия ИИ далека от рекурсивных систем в каком-либо значимом смысле — и все еще пытается общаться с настороженной общественностью о своем прогрессе. Так, генеральный директор Google Сундар Пичаи, по сути, признал это в недавнем интервью для подкаста.
«Это континуум, и мы все, безусловно, добиваемся прогресса», — сказал Пичаи. «Но в том виде, в каком люди описывают RSI, это будет представлять следующий уровень ускорения и повлечет за собой множество последствий, но мы еще не совсем там».
Но континуум включает в себя огромное количество самосовершенствующихся систем ИИ. В январе один из ведущих программистов Claude Code в Anthropic оценил, что «почти 100%» кода его команды было написано этим инструментом — откровенное признание того, что Claude Code буквально писал сам себя.
То, что инженеры используют инструмент ИИ, еще не означает, что инструмент может их заменить — но Anthropic, похоже, приближается к замене инженеров. В недавнем опросе, связанном с предварительным просмотром Mythos, пять из 18 инженеров Anthropic полагали, что эта версия Mythos при улучшении управления сможет вскоре заменить инженера уровня L4 — программиста среднего звена, способного выполнять сложные проекты без надзора.
Тем не менее, были отмечены и некоторые из тех же слабостей, которых можно было ожидать.
«Некоторые из основных зафиксированных слабостей Claude по сравнению с L4 включают: самостоятельное управление неоднозначными задачами продолжительностью в неделю, понимание приоритетов организации, вкус, верификация, следование инструкциям и эпистемика», — говорится в отчете.
Другими словами, его слабости заключаются во всем, что связано с самонаправлением, что является краеугольным камнем RSI. Но, конечно, во всем остальном Claude готов немедленно включиться в работу.
Подобно термину AGI (общий искусственный интеллект) до него, индустрия ИИ также не может сказать нам, как далеко она от демонстрации значимой рекурсивной системы. Когда Центр безопасности и развивающихся технологий Джорджтаунского университета собрал группу экспертов для изучения RSI в прошлом году, группа обнаружила серьезный раскол в оценках — одни ожидали неминуемого взрыва в стиле «суперинтеллекта», в то время как другие предсказывали более медленный прогресс и постепенное плато. Но все согласились, что рекурсия делает будущее особенно трудным для прогнозирования.
Хелен Тонер, директор CSET и бывший член совета OpenAI, заявила TechCrunch, что простое использование инструментов ИИ для проведения исследований ИИ недостаточно для квалификации как RSI. «Они просто используют ИИ настолько, насколько это возможно», — говорит Тонер TechCrunch. «И я думаю, что это отличается от классического определения RSI, которое действительно подразумевает, что люди не нужны».
Тонер ссылается на недавнюю статью Аейи Котры из METR, которая различает разные вехи на пути к захвату исследований ИИ. Один этап, который Котра называет «адекватностью», наступит, когда система сможет продолжать проводить исследования после удаления всех людей — даже если полученные результаты не будут столь ценными или эффективными. «Паритет» наступает, когда система, работающая только на ИИ, так же хороша в исследованиях, как система, работающая только на людях. «Превосходство», заключительная стадия, наступает, когда система, работающая только на ИИ, превосходит совместную систему людей и ИИ.
В конечном счете, Котра заключает, что ИИ очень близок к порогу адекватности, чтобы производить некоторую работу самостоятельно — аналогично постепенным изменениям, вносимым системой Auto-Research Карпати. «Я не буду совсем удивлен, если вы скажете мне, что эта веха уже пройдена, и я ожидаю, что это произойдет в ближайшие пару лет», — пишет Котра.
Она менее уверена в том, когда наступит паритет, но как только это произойдет, она считает, что это «резко ускорит темпы прогресса ИИ, что приведет к превосходству ИИ в исследованиях в течение еще одного года».
Препятствия на пути
Поскольку так много в ИИ построено на законах масштабирования, существует сильная тенденция полагать, что RSI будет следовать той же кривой. Тонер считает, что многие из тех, кто занимается исследованиями и разработкой ИИ через RSI, «представляют это как довольно гладкую лестницу, по которой можно просто продолжать масштабироваться».
Но даже если исследователи ИИ смогут вносить постепенные улучшения, как автоисследователи Карпати, возникнут более серьезные проблемы при передаче всего процесса исследований. Тонер объясняет это на примере истории вычислений, когда люди передавали все большую часть процесса, продолжая при этом управлять всем сверху.
«Мы перешли от машинных языков к ассемблерам и компилируемым языкам; вы отдаляетесь все дальше от нутра компьютера», — говорит Тонер. «Но человек все еще, в некотором интуитивном смысле, управляет шоу».
Выход за рамки этой парадигмы потребует решения значительных инженерных задач и задач согласования. Но даже при огромных инвестициях нет бесконечных вычислений — и с базовым компромиссом между человеческим трудом и машинным интеллектом будет трудно справиться.
Что касается полностью рекурсивной системы ИИ из апокалиптических видений? Единственное, в чем исследователи, по сути, согласны, это то, что, как и AGI, она еще не наступила.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Russell Brandom