Британский Институт безопасности ИИ (AISI) анонсировал запуск открытой платформы Inspect, которая должна упростить процесс тестирования и оценки безопасности технологий искусственного интеллекта. Этот инструмент будет чрезвычайно полезен компаниям и организациям по всему миру, которые активно разрабатывают или уже используют системы ИИ в промышленности, научных исследованиях и других областях.
Inspect состоит из трех ключевых компонентов. Это обширные наборы тестовых данных для оценки различных моделей ИИ в реалистичных условиях, инструменты для проведения автоматизированного тестирования моделей ИИ и взаимодействия с ними, и модули анализа результатов, формирующие детальные метрики производительности и показатели безопасности.
Платформа позволяет оценить критически важные для практического применения ИИ характеристики, такие как базовые знания, логическое мышление и предсказуемость поведения. При этом, особенность Inspect состоит в том, что она распространяется по открытым лицензиям (включая лицензию MIT) с полностью открытым исходным кодом. Это даст возможность сообществу разработчиков по всему миру адаптировать инструменты платформы под свои нужды и коллективно работать над её улучшением.
Как отмечает ресурс Techcrunch, запуск Inspect произошёл на фоне повышенного регуляторного внимания к проблеме надёжности систем ИИ. В частности, недавно американская программа NIST анонсировала похожий проект GenAI для тестирования безопасности технологий генеративного ИИ. А в апреле США и Британия подписали меморандум о взаимопонимании в сфере стандартизации и регулирования ИИ, рамках которого планируется создание американского аналога AISI для координации усилий двух стран.
По замыслу создателей Inspect, глобальное сообщество должно использовать эту платформу не только для тестирования собственных моделей ИИ, но и для расширения возможностей самой платформы на благо всех заинтересованных сторон.