Anthropic, разработчик Claude, подняла один из самых тревожных вопросов в ИИ-индустрии: что произойдет, если модели научатся самостоятельно улучшать себя быстрее, чем человек сможет это контролировать? Речь идет о рекурсивном самосовершенствовании - сценарии, при котором ИИ уже не просто помогает инженерам в разработке, а сам способен повышать собственные возможности без прямого участия человека. Именно в этом риск: если каждая новая версия ИИ сможет создавать еще более сильную следующую версию, скорость прогресса может выйти за пределы привычного человеческого контроля. Компания считает, что крупнейшие ИИ-лаборатории должны заранее договориться о правилах на случай, если развитие моделей приблизится к опасному уровню. Один из вариантов - механизм согласованного замедления или временной паузы в разработке самых продвинутых систем. Смысл в том, чтобы не оказаться в ситуации, где технологии ускорились, а контроль, законы и оценка рисков остались позади. Здесь важен сам факт: о риске гово
Anthropic предупредила о риске потери контроля над ИИ
19 июня19 июн
1 мин