Нерегулируемый «ИИ-зомби» представляет угрозу производительности, репутации и соблюдению требований, подчеркивая острую необходимость в масштабируемом, автоматизированном управлении для защиты и максимизации инвестиций в ИИ.
По мере того как компании все чаще внедряют искусственный интеллект и машинное обучение во все большем количестве частей организации, из тени выходит скрытый риск — «ИИ-зомби». Это рискованные приложения искусственного интеллекта, которые были разработаны небрежно и без строгого управления и продолжают работать без значимого надзора и контроля. Они могут выглядеть как триумф изобретательности простых людей и быстрых инноваций, но на самом деле каждый из них несет в себе болезнь, которая обрекает организацию на снижение эффективности и, в конечном итоге, на изнурительный финансовый, репутационный и юридический ущерб.
Организациям необходимо принять незамедлительные меры для предотвращения распространения ИИ-зомби, прежде чем они сокрушат свои инициативы в области ИИ и нанесут еще больший ущерб их конкурентоспособности. Решение заключается во внедрении лучших практик управления ИИ, которые заранее выявляют деловые, юридические и этические риски; обеспечить их отслеживание и контроль на протяжении всего процесса разработки и развертывания; проверять качество и производительность; и принимать постоянные меры по снижению рисков и обеспечению работоспособности своих приложений искусственного интеллекта.
Роящиеся толпы зомби-ИИ
Зомби-ИИ возникает из-за отсутствия управления. Без управления проектам слишком легко игнорировать потенциальные риски, использовать конфиденциальные данные, использовать небезопасные библиотеки, увеличивать неконтролируемые затраты на инфраструктуру и запускать в производство некачественные и ненадежные модели. После развертывания они работают без мониторинга и надзора, часто определяя важные решения в таких областях, как обслуживание клиентов, обнаружение мошенничества и оптимизация цепочки поставок. Производительность этих моделей неизбежно снизится — поскольку документация и воспроизводимость, необходимые для их постоянного улучшения, не были созданы — и рано или поздно произойдет катастрофический сбой, когда модель столкнется с одной из своих явных уязвимостей.
Практический пример: алгоритм покупки жилья Zillow
Каноническим примером Zombie AI являются модели, используемые Zillow для оценки домов, которые компания будет покупать и продавать напрямую. Эти модели не учитывали должным образом риск быстрых изменений на рынке жилья. В сочетании с недостаточным контролем за работой этих моделей в результате Zillow систематически переплачивала за дома. В конечном итоге Zillow пришлось списать 304 миллиона долларов в третьем квартале 2021 года, закрыть подразделение Zillow Offers по покупке жилья и уволить 25% сотрудников.
Подобно «настоящим» зомби, которых легко победить индивидуально, но невозможно остановить в массе, риски, связанные с ИИ-зомби, усугубляются быстрым ростом ИИ внутри организаций. Ущерб, причиняемый неэффективными моделями, был минимальным, когда серийных моделей искусственного интеллекта и машинного обучения было мало или они содержались в сценариях использования с низким уровнем воздействия. За ними могли адекватно наблюдать небольшие команды, которые их создавали. Сегодня эти команды все чаще становятся жертвами собственного успеха, имея мало возможностей наблюдать и контролировать множество проектов искусственного интеллекта, реализуемых компанией, и теперь эти модели используются в критически важных приложениях во всем бизнесе.
Проблема искусственного интеллекта-зомби также усложнилась из-за огромной скорости инноваций в области искусственного интеллекта и растущих усилий по регулированию искусственного интеллекта. Достижения в области генеративного искусственного интеллекта повлекли за собой распространение новых вариантов использования, технологий и незрелых предложений, а также множество новых галлюцинаций , конфиденциальности, безопасности, затрат и, иногда, этических рисков. Последовавшая за этим волна регулирования ИИ (в 2024 году 35 штатов США приняли ту или иную форму нового законодательства в области ИИ, а ЕС принял Закон ЕС об ИИ) еще больше увеличивает правовые и нормативные риски.
В целом, риски, связанные с искусственным интеллектом-зомби, никогда не были выше. Организации разрабатывают и внедряют решения искусственного интеллекта и машинного обучения значительно ускоренными темпами. Они применяют ИИ новыми, непроверенными способами, используя раздробленную экосистему новых, незрелых технологий, при этом им приходится ориентироваться в растущей нормативной среде. ИИ-зомби теперь может нанести гораздо более видимый ущерб в виде репутационного ущерба и регулятивных санкций, а также невидимый ущерб в виде ухудшения эффективности бизнеса и порочного круга застоя и недостаточного инвестирования в преобразующие технологии, такие как ИИ.
Остановить распространение: лекарство от управления ИИ
Противоядием от ИИ-зомби является строгое и масштабируемое управление ИИ на протяжении всего жизненного цикла приложений ИИ — от разработки до развертывания и обслуживания. Однако многие организации с трудом реализуют эффективное управление. Большинство усилий ограничиваются установлением общих принципов и рамок без детализации конкретных действий, необходимых для управления рисками. Управление — это не просто вопрос принципов, советов или проверок — оно требует действий на каждом этапе жизненного цикла ИИ.
Ведущие команды ИИ в жестко регулируемых секторах, таких как финансовые услуги и биофармацевтика, предлагают отправную точку для управления ИИ. Эти команды создали сложные процессы управления, которые сосредоточены на ключевых действиях на протяжении всего жизненного цикла ИИ: от оценки рисков и контроля доступа до непрерывного мониторинга и исправления.
Как и этим передовым группам, всем организациям, стремящимся управлять ИИ, необходимо:
- Унифицированная видимость. Как минимум, проекты ИИ должны постоянно регистрироваться, отслеживаться и контролироваться на протяжении всего их жизненного цикла. Организациям следует внедрять системы, которые обеспечивают прозрачность производительности модели, рисков и соответствия всем проектам и развернутым моделям, как в облаке, так и локально.
- Проверяемость и воспроизводимость: команды должны иметь возможность воспроизводить условия, в которых проекты ИИ разрабатывались и внедрялись. Это требует сбора подробной информации о данных, коде и процессах, используемых при разработке модели, и предоставления ее для постоянного улучшения и исправления в случае сбоя моделей.
- Управление доступом. Управление доступом к данным, моделям, коду и инфраструктуре имеет решающее значение для управления рисками, связанными с конфиденциальностью, безопасностью, затратами и часто соблюдением законодательства. Организации должны иметь автоматизированные средства контроля для управления доступом и предотвращения несанкционированного использования.
- Управление и обеспечение соблюдения политик. Организациям необходимо обеспечить соответствие моделей ИИ меняющимся правилам. Это требует автоматизации для согласования политики с нормативной базой, такой как Закон ЕС об искусственном интеллекте, и последовательного обеспечения соблюдения этой политики во всей организации.
В наиболее продвинутых командах эти методы управления уже применяются, но даже они сталкиваются с трудностями, требующими ручного труда, времени и затрат на управление, особенно с учетом растущего портфеля сценариев использования ИИ. Настоящая задача для всех организаций заключается в масштабировании этих процессов для управления сотнями проектов ИИ в фрагментированных средах по всей организации. Решение заключается в автоматизации — сокращении ручного труда, который в настоящее время утомляет даже лучшие команды ИИ, — при одновременном обеспечении человеческого внимания и контроля.
Победа над искусственным интеллектом-зомби с помощью масштабируемого управления
Зомби-ИИ представляет собой постоянно растущий риск для организаций, который становится все более острым по мере ускорения внедрения ИИ и который предприятия больше не могут себе позволить игнорировать. Чтобы остановить его распространение, организации должны выйти за рамки структур высокого уровня и комитетов по этике, чтобы внедрить управление с нуля, чтобы гарантировать, что их приложения ИИ безопасны, точны и соответствуют требованиям.
План успешного управления ИИ уже существует благодаря передовым командам ИИ в регулируемых отраслях. Организациям остается применять эти методы более широко и использовать автоматизацию, чтобы сделать управление масштабируемым. Поступая таким образом, они не только снизят риски, связанные с искусственным интеллектом-зомби, но и раскроют весь потенциал своих инвестиций в искусственный интеллект, способствуя росту инноваций, доверия и влияния на весь свой бизнес.