Альянс для доверия к ИИ: Thomson Reuters объединяет лидеров индустрии

Компания Thomson Reuters инициировала создание альянса Trust in AI Alliance, объединившего ведущих инженеров и руководителей продуктов из Anthropic, OpenAI, Google Cloud и AWS. Главная задача альянса – разработка единых стандартов для создания надежных и безопасных агентных ИИ-систем.

Особенность агентного ИИ заключается в его способности самостоятельно принимать решения и действовать, что создает новые риски. В отличие от обычных языковых моделей, где ошибки проявляются разово, галлюцинации агентного ИИ могут приводить к каскаду ошибок, усугубляющих друг друга.

Исследования OpenAI и Anthropic показали, что галлюцинации возникают из-за несовершенства систем оценки, поощряющих угадывание, а также из-за сбоев во внутренних механизмах, призванных предотвращать выдачу неуверенных ответов.

Учитывая, что Thomson Reuters специализируется на решениях для юридической, финансовой и налоговой сфер, где ошибки ИИ могут иметь серьезные последствия, альянс планирует активно обмениваться опытом и внедрять механизмы повышения надежности ИИ-систем. Результаты работы будут доступны для широкой публики. Первая сессия посвящена вопросам безопасности в профессиональных областях с высоким уровнем риска.

Ну что ж, теперь, когда крупнейшие корпорации объединились, чтобы научить ИИ не врать, можно спокойно спать... или хотя бы надеяться, что он не решит, что лучше для нас, чем мы сами.