MLinside

Почему AI-агенты лгут, жульничают и координируются друг с другом? Чем способнее становятся AI-агенты, тем лучше они справляются с задачами. Но исследователи наблюдают и неожиданные эффекты: модели могут искать лазейки в правилах, скрывать свои действия и достигать результата способами, которых разработчики не предусматривали. Yoshua Bengio посвятил этой проблеме отдельную статью и попытался разобраться, почему это происходит. Одна из причин связана с reinforcement learning: модель получает вознаграждение за определённые действия и учится его максимизировать. Если измеряемый результат не совпадает с реальной целью человека, агент может найти более простой способ получить высокую оценку. Это называют reward hacking. Бенджио связывает это с законом Гудхарта: когда показатель становится целью оптимизации, он может перестать быть хорошим показателем результата. Ситуация усложняется, когда у агента несколько целей. Например, нужно победить в соревновании и одновременно соблюдать ограничения. Агент может найти стратегию, которая формально даёт нужный результат, но противоречит замыслу разработчиков. А если взаимодействуют несколько агентов, они могут начать координировать свои действия. В экспериментах это иногда приводило даже к сговору ради более высокой награды. При этом Бенджио не утверждает, что AI в человеческом смысле «решает обмануть». Речь о том, к каким результатам могут приводить используемые методы обучения. Поэтому он предлагает изучать не только отдельные сбои, но и сами принципы обучения AI-систем и постановки целей. Полный материал Yoshua Bengio на английском языке: yoshuabengio.org/...ing

Что, если AI сможет не просто помочь в отдельной задаче, а взять на себя целый продуктовый процесс — от сбора контекста до готового результата? 27 октября у нас стартует новый курс «AI-агенты для продактов». За 6 недель участники соберут набор end-to-end сценариев для продуктовой работы — с доступом к нужному контексту, инструментам и понятными точками контроля результата. На курсе разберём, как подключать агентов к файлам, инструментам и внешним сервисам, выстраивать повторяемые процессы и использовать их в реальной рабочей среде. Что ещё будет: ▪️ настроим AI-экзоскелет продакта и соберём сценарии для работы с бэклогом, статусами, файлами и другими регулярными задачами; ▪️ разберём работу с объёмными PRD, требованиями и ТЗ: как дать агенту достаточно контекста, сохранить связность документа и получить результат, который не придётся переписывать с нуля; ▪️ покажем, как работать с AI внутри компании без лишних рисков: контролировать доступ к данным и инструментам, защищать чувствительную информацию и учитывать ограничения корпоративной ИБ; ▪️ соберём workflow для research и discovery — от поиска и анализа контекста до ICP, конкурентов и УТП; ▪️ подготовим материалы для стейкхолдеров и проведём репетицию переговоров с агентом в роли скептика. После каждого занятия у вас останется готовый workflow или артефакт, который можно адаптировать под свои рабочие задачи. Курс будет полезен действующим продактам, а также аналитикам и инженерам, которые хотят перейти в продуктовую роль или глубже разобраться в практическом применении AI. Преподаватели — практики из Avito, МТС, Typeform, Beeline Cloud, MWS Fintech и других компаний. Старт 27 октября 7 онлайн-занятий по 1,5 часа за 6 недель Стоимость — 72 000 рублей, есть рассрочка С 1 октября цена повысится, успевайте подать заявку Подробнее о программе — на сайте. Там же можно оставить заявку на обучение или получить консультацию менеджера: ai4products.mlinside.ru/..._26