В медицине и беспилотниках ошибка ИИ может стоить человеку жизни, выяснили учёные
Алгоритмы выбирают не достоверный вариант, а тот, который наиболее правдоподобен и часто встречается, выяснили учёные Пермского политеха (ПНИПУ). Это может привести к фатальным последствиям, особенно в критических сферах — от медицины до беспилотного транспорта.
Исследователи пояснили, что языковые модели представляют собой математические системы, анализирующие частотность событий. Они не способны критически мыслить, а их решения остаются «чёрным ящиком» с сотнями миллионов параметров.
Пока процесс принятия решений в глубоких нейросетях остаётся "чёрным ящиком" с сотнями миллионов параметров. Невозможно точно определить, почему модель приняла то или иное решение, а значит — невозможно гарантированно исправить ошибку.
— ПНИПУ
Учёные уверены: проблема когнитивных искажений ИИ — не инженерная, а антропологическая. Решать её должны не только разработчики, но и философы, социологи, психологи и правоведы. Важно не устранить искажения полностью, а научиться их обнаруживать, измерять и ограничивать.
Ключевое значение также имеет прозрачность. Системы нужно проектировать так, чтобы их решения можно было проверять — даже если сам процесс остаётся непрозрачным. Для этого необходимы аудит, валидация на контрпримерах и человеческий контроль. Не менее важно обучать пользователей: пока люди слепо доверяют нейросетям, любые технические решения бессмысленны.