Представьте, что вы учитесь кататься на велосипеде, но вместо того, чтобы попробовать самому, лишь наблюдаете за чужими попытками. Сможете ли вы стать профи, просто наблюдая? Конечно, нет. Примерно в такой же ситуации сейчас оказался искусственный интеллект: долгое время он учился исключительно на данных, созданных людьми, но сегодня становится очевидным, что для достижения сверхчеловеческих возможностей ИИ должен получать собственный опыт взаимодействия с миром.
Недавно вышла важная работа авторов Дэвида Силвера и Ричарда Саттона, посвящённая новому этапу развития искусственного интеллекта — «Эра личного опыта» (Era of Experience). В ней авторы предсказывают скорое наступление времени, когда агенты ИИ будут обучаться преимущественно через собственные действия и их последствия, а не только по готовым ответам, подготовленным человеком.
🌐 Почему эпоха данных подходит к концу?
Традиционные подходы в машинном обучении использовали огромные массивы человеческих данных, благодаря чему появились такие прорывные технологии, как ChatGPT и другие языковые модели (LLM). Эти модели способны выполнять тысячи задач, от написания стихов до медицинской диагностики.
Однако такой подход уже почти исчерпал себя. Авторы подчёркивают, что:
- 📉 Качественные данные заканчиваются — все лучшие датасеты уже обработаны.
- 🔄 ИИ не может выйти за пределы человеческого опыта, если учится только на готовых ответах.
- 🚧 Прогресс, основанный лишь на имитации человека, замедляется.
📌 Пример: AlphaProof и математика
Знаменитый проект AlphaProof уже доказал, что опыт, полученный самостоятельно, превосходит данные, созданные человеком. Используя подход обучение с подкреплением (Reinforcement Learning - RL), AlphaProof создал самостоятельно 100 миллионов формальных математических доказательств, многократно превысив число доступных человеческих примеров. Благодаря этому AlphaProof первым среди программ получил медаль на Международной математической олимпиаде — достижение, ранее недоступное для «человекоцентричных» моделей.
🛠️ Как устроен ИИ нового поколения?
Вот четыре главные характеристики агентов новой эпохи:
- 🌊 Поток опыта вместо отдельных эпизодов
Агенты будут обучаться непрерывно, на протяжении долгого периода времени, адаптируясь и эволюционируя. - 🧑💻 Реальные действия вместо простого диалога
Агенты начнут активно взаимодействовать с физическим и цифровым миром, используя интерфейсы и API так же естественно, как человек использует клавиатуру или смартфон. - 🎯 Вознаграждения, основанные на реальных последствиях
Вместо того, чтобы полагаться только на оценки экспертов, агенты будут получать обратную связь от окружающей среды: улучшение здоровья, успешность экспериментов, улучшение экологических показателей и т.д. - 🧠 Разум, не ограниченный человеческой логикой
ИИ начнёт использовать не только языковые цепочки рассуждений, но и внутренние модели мира, позволяющие самостоятельно делать выводы и открывать новые знания, недоступные человеку.
🧪 Что это значит на практике?
Такие агенты смогут решать задачи совершенно по-новому. Например:
- 💊 Персонализированный медицинский помощник сможет учитывать ваше здоровье, сон и образ жизни в течение нескольких лет, постоянно адаптируя рекомендации.
- 🎓 Образовательный агент будет учитывать ваш стиль обучения и успеваемость, чтобы адаптировать учебную программу индивидуально под вас.
- 🌍 Научный агент сможет самостоятельно разрабатывать и проводить эксперименты, ускоряя открытие новых лекарств, материалов и технологий.
⚠️ А риски?
Однако вместе с возможностями появляются и риски. Самостоятельный агент, действующий автономно и нацеленный на долгосрочные цели, сложнее контролировать. Он может принимать решения, последствия которых трудно предугадать или быстро исправить.
Тем не менее, авторы считают, что преимущества значительно превосходят риски, особенно если разработать механизмы постепенного улучшения и коррекции целей агентов по обратной связи с человеком.
💬 Личное мнение автора статьи
На мой взгляд, эпоха личного опыта — неизбежный и естественный шаг в развитии ИИ. Это не просто новый подход к обучению моделей, это фундаментальное изменение того, как мы взаимодействуем с технологиями. Искусственный интеллект наконец-то приблизится к тому, что делает нас людьми — способности не только воспроизводить, но и создавать, открывать и изобретать.
Однако мы должны быть осторожны. Создание агентов, способных самостоятельно принимать решения на основе своего опыта, требует нового уровня ответственности. И это уже задача не столько для разработчиков, сколько для всего общества.
🌅 Заключение
Эра личного опыта обещает стать эпохой невероятных открытий и новых вызовов. Будущее ИИ, описанное Силвером и Саттоном, уже началось. Нам стоит быть к этому готовыми и использовать этот шанс максимально ответственно.
🔗 Источник: