Эксперты компании Citadel опубликовали анализ «схватки» нейросетей защиты и хакерских нейросетей. Ситуация довольно тревожная, поскольку вторые явно опережают первых.
Исследователи рассматривали модель атаки DNS Amplification attack. DNS (Domain Name System) — главные сервера мирового интернета, где хранятся имена всех доменов. Злоумышленник посылает запрос на DNS-сервер и в качестве исходного адреса указывает сервер-цель, который нужно «завалить». Если запросов много, то DNS-сервер выступает как усилитель атаки (amplification). Для создания большого количества запросов к DNS-серверу используются сети зараженных компьютеров (зомби-машин), — ботнеты. Особую трудность при таком типе атаки вызывает то, что запросы, которые «валят» сервер-цель, идут от надежного и легального источника — DNS-сервера.
Специалисты Citadel во время тестирования обнаружили, что враждебные данные, сгенерированные двумя атакующими системами (EAD и TextAttack) могут обмануть систему обнаружения атаки (IDS). Атакующие сети при DDoS-атаке проходят защиту в 100% случаев (если мусорные пакеты готовит EAD —то есть, никакого смысла в защитной нейросети просто нет) и 67,63% (если мусорные пакеты готовит TextAttack).
Еще одна новость по близкой теме. Специалисты из Принстонского университета опубликовали исследование, в котором показали, что использование ИИ часто приводит к ошибкам, которые крайне трудно отыскать. Очень многие работы в самых разных областях науки используют некорректные данные для обучения сетей. Это приводит к ложным предсказаниям. Особенно опасны такие ошибки в медицинских приложениях.
Главный риск при использовании нейросетей — в неверной или неполной подготовке данных для обучения. Например, предпринималась попытка предсказать биржевые курсы на конец дня по сообщениям в Twitter. Результат был просто ошеломляющий — точность предсказания превысила 80%. Почему так случилось? Курс на конец дня формируется не мгновенно. Конечно, могут быть скачки, но их около 20%. Остальные курсы формируются более-менее плавно. И вот это плавное формирование курсов отражается в постах Twitter. То есть, когда нейросеть «предсказывает» результат, она его уже «знает», потому что она его получила из обучающих данных. Но нельзя обучать сеть на результатах, которые ты хочешь получить.
И еще одно достижение. Ученые из Университета Южной Калифорнии обучили ИИ мыслить аналогиями, используя в качестве датасета басни Эзопа.
Например, есть две разные басни. В одной говорится о женщине, у которой была курица, которая каждый день несет одно яйцо. Женщина решила, что если больше кормить курицу, она будет нести по два яйца. Но курица располнела и вообще перестала нести яйца. В другой басне говорится о верблюде, который очень завидовал буйволу: у буйволов такие красивые рога, а у верблюда рогов вообще нет. Верблюд пошел к Зевсу и попросил рога. Зевс решил, что у верблюда и так все хорошо, и не только не дал ему рога, но еще и обкорнал ему уши. Человек легко распознает, что мораль этих басен одна: не добивайся лишнего, а то потеряешь и то, что имеешь. Исследователи использовали несколько разных нейролингвистических моделей для сравнения басен и поиска аналогий. Обучение проводили на 44 парах аналогичных басен.