Недавно было проведено исследование, которое показало, что искусственный интеллект (ИИ), управляющий автопилотом автомобиля, либо интерпретирующий ваши рентгеновские снимки, может быть более «доверчивым», чем считалось ранее.
Вы можете вносить всевозможные изменения в знак остановки, и ИИ, обученный распознавать знаки остановки, все равно будет знать, что это знак остановки. Однако, если у ИИ есть уязвимость, и злоумышленник знает об этой уязвимости, злоумышленник может ей воспользоваться и вызвать аварию.
Исследователи из Университета штата Северная Каролина создали специально ПО – QuadAttacK, который проник в четыре широко используемые «нейронные сети», выявив их «ахиллесовы пяты».
Если у вас есть обученная система ИИ и вы тестируете ее на чистых данных, система ИИ будет вести себя так, как прогнозируется. QuadAttacK наблюдает за этими операциями и изучает, как ИИ принимает решения, связанные с данными, что позволяет ему определить, как можно манипулировать данными, чтобы обмануть ИИ. Затем QuadAttacK начинает отправлять обработанные данные в систему ИИ, чтобы увидеть, как ИИ отреагирует. Если QuadAttac K обнаружит уязвимость, он сможет быстро заставить ИИ увидеть то, что QuadAttacK хочет, чтобы он увидел, пишут исследователи.