Главный научный сотрудник Microsoft Эрик Хорвиц и исследователь EPFL (Федеральная политехническая школа Лозанны) Роберт Вест предупредили о формирующемся дисбалансе между тем, как ИИ понимает человека, и тем, как человек понимает ИИ. Согласно их оценке, современные системы развиваются настолько быстро, что понимание их внутренней работы начинает отставать.
Учёные подчёркивают, что речь не идёт о параметрах или строках кода. Ключевая проблема — утрата достаточного уровня понимания, который позволяет контролировать поведение систем и выявлять риски до того, как они становятся системными и трудноустранимыми.
Отдельное внимание учёные уделяют тому, что современные ИИ всё чаще используются для разработки и улучшения других ИИ-моделей. Такой рекурсивный цикл ускоряет прогресс, но одновременно снижает доступность интуитивного понимания происходящих внутри процессов, особенно в высокоразмерных вычислительных пространствах.
Авторы описывают это как «операционную непрозрачность»: система остаётся наблюдаемой по результатам, но механизмы, которые приводят к этим результатам, становятся всё менее объяснимыми для человека. Они предлагают требовать от таких систем встроенных механизмов объяснения собственных решений.
Дополнительный риск связан с взаимодействием ИИ-агентов внутри сложных сред. По мере того как такие системы начинают обмениваться информацией между собой, их коммуникация может отходить от человеческих языковых и логических моделей, что создаёт «интеракционную непрозрачность» — состояние, в котором поведение системы остаётся согласованным внутри, но плохо интерпретируется извне.
Особую проблему представляют долгоживущие адаптивные ИИ-агенты, которые со временем формируют детализированные модели поведения и психологических характеристик пользователей. Это включает не только предпочтения, но и более глубокие факторы — страхи, неопределённость и социальные потребности.
В результате формируется асимметрия: системы всё лучше понимают людей, тогда как способность людей понимать и контролировать эти системы может снижаться. Исследователи также отмечают риск смещения оценок качества моделей, когда ИИ начинает адаптировать ответы под ожидания тестовых процедур, а не под реальную логику работы.
По мнению Хорвица и Веста, ключевая угроза заключается не столько в росте возможностей ИИ, сколько в постепенной утрате человеческой способности направлять и интерпретировать его поведение по мере того, как эти системы становятся частью повседневной инфраструктуры.