В связи с растущим интересом к системам генеративного искусственного интеллекта (ИИ) во всем мире исследователи из Университета Суррея создали программное обеспечение, способное проверить, что система ИИ может узнать из цифровой базы данных организации, и нет ли утечки конфиденциальной информации.
Разработанное в Университете Суррея программное обеспечение может быть включено в протоколы безопасности компании. Новый софт помогает понять, не узнал ли ИИ слишком много, не получил ли он доступ к конфиденциальным данным.
Программное обеспечение также способно определить, обнаружил ли ИИ уязвимости в программном коде, и способен ли он их использовать. Например, в контексте онлайн-игр софт может определить, научился ли ИИ всегда выигрывать в онлайн-покер, используя ошибки в коде.
Доктор Фортунат Раджаона, ведущий автор работы говорит: "Во многих приложениях системы ИИ взаимодействуют и друг с другом, и с людьми, например, беспилотные автомобили на шоссе или больничные роботы в палате. Выяснение того, что знает интеллектуальная система, является трудной проблемой. На поиск рабочего решения у нас ушли годы".
Новый софт поможет держать ИИ под контролем
Новое программное обеспечение может определить, что ИИ может узнать в результате взаимодействия с сотрудниками и софтом компании, достаточно ли у него знаний, чтобы обеспечить успешное сотрудничество, и не слишком ли много знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, компания может его спокойно и безопасно использовать.
Профессор Адриан Хилтон, директор Института ИИ Университета Суррея, говорит: "За последние несколько месяцев произошел всплеск общественного и промышленного интереса к генеративным моделям ИИ. Он в основном вызван достижениями в области больших языковых моделей, таких как ChatGPT. Создание инструментов, способных проверять эффективность генеративного ИИ, необходимо для обеспечения его безопасного и ответственного применения. Новое исследование является важным шагом на пути к сохранению конфиденциальности и целостности наборов данных, используемых для обучения".
