Мы привыкли к тому, что ИИ быстро учится и совершенствуется. Но что случится, если предложить нейросети заведомо ложную информацию? Приятного чтения!
Галлюцинации искусственного интеллекта
Если вы регулярно пользуетесь нейросетями, то наверняка замечали, что порой интеллект генерирует информацию, которая абсолютно не соответствует действительности. Начинает казаться, что нейросеть живет собственной жизнью и самостоятельно что-то выдумывает.
Как показывает практика, ИИ может выдумывать статистические цифры, несуществующие объекты или исторические факты. Такие «бредни» и получили название – галлюцинации искусственного интеллекта.
Они могут быть разными: от незначительных неточностей до абсурдных утверждений.
Например:
По мнению искусственного интеллекта, самой длинной улицей Челябинска считается улица Блюхера. Ее протяженность составляет более 11 километров, она пересекает практически весь город с севера на юг. И в этом результате нет ни единого попадания.
Самая длинная улица в Челябинске — проспект Победы, ее протяженность 12 километров. Проходит она сразу по трем районам: Курчатовскому, Ленинскому и Тракторозаводскому. Длина улицы Блюхера в Челябинске – всего 6 км.
Причины возникновения галлюцинаций
Причины скрыты в самом принципе работы генеративных систем. Выполняя запрос пользователя, искусственный интеллект предсказывает наиболее вероятное следующее слово. Свой ответ он строит на основе анализа большого количества предыдущих данных. Когда она чего-то не знает или сталкивается с этим впервые, то генерирует случайный ответ.
Однако стало распространенным понятие – «злоумышленное отравление данных». Это целенаправленное действиЕ злоумышленников также влияет на галлюцинации ИИ.
Как это работает? Алгоритмы машинного обучения учатся на огромных наборах данных. Их качество напрямую влияет на результат обучения. Алгоритм анализирует обучающую базу, находит закономерности и создает правила для решения задач.
Отравление данных нарушает процесс правильной работы алгоритма. Вредоносные файлы, подмешанные в обучающий набор, искажают картину мира алгоритма, заставляя его делать ошибки.
Злоумышленник незаметно внедряет вредоносные данные в обучающий набор, чтобы исказить работу алгоритма и снизить его эффективность. А в дальнейшем, благодаря отравлению, хакеры смогут обходить защиту систем, управляемых алгоритмами искусственного интеллекта. Например, систему распознавания лиц.
Как избавиться от галлюцинаций?
Полностью избавиться от галлюцинаций искусственного интеллекта, вероятно, невозможно, но существуют методы, которые значительно снижают их частоту.
Один из перспективных подходов – это поиск, дополненный генерацией. Вместо того, чтобы полагаться исключительно на обучающие данные и запросы пользователя, искусственный интеллект обращается к внешним источникам информации для фактчекинга. Это позволяет ему получать более достоверные данные и снизить вероятность ошибок.
Однако, независимо от сложности искусственного интеллекта, человеческий контроль необходим. Специалисту, который разрабатывает нейросеть, важно регулярно мониторить и изучать данные, которые он использовал для обучения моделей искусственного интеллекта. Ранняя диагностика поможет вовремя выловить из обучающей базы вредные паттерны и не дать им нарушить работу алгоритма.