Российские разработчики создали новые инструменты, которые помогут защитить базы данных от «отравления», используемого для обучения искусственного интеллекта (ИИ). Это нововведение значительно сократит риски сбоев в работе ИИ-систем и повысит их устойчивость к кибератакам.
Как сообщил академик Арутюн Аветисян, директор Института системного программирования РАН, проблема «отравления» данных, когда киберпреступники вносят искажения в обучающие базы, приводит к сбоям в работе ИИ, включая ложные результаты. Для решения этой проблемы ученые разработали набор тестовых данных SLAVA, который помогает оценить корректность алгоритмов и защититься от атак. Также были созданы доверенные версии фреймворков для работы с ИИ.
Аветисян отметил, что с ростом применения генеративных моделей ИИ, защита таких систем становится все более актуальной. Проблемы, связанные с ошибками ИИ, уже привели к мошенничествам, использующим фейковые видео и даже к судебным решениям, основанным на неверных данных. Однако, по словам академика, отказываться от ИИ невозможно — это приведет к технологическому отставанию. Вместо этого, необходимо создавать доверенные ИИ-системы, опираясь на современные научные разработки.