Пентагон пытается скрестить нейросети с логикой
DARPA продолжает искать способы борьбы с галлюцинациями у ИИ. Сейчас они запускают программу под названием CLARA, которая должна создать принципиально новый тип искусственного интеллекта с математически проверяемой надежностью.
Американские военные признают, что нынешний искусственный интеллект, построенный на машинном обучении, — это мощная, но непредсказуемая технология, которой опасно доверять критические решения.
Суть проблемы: нейросети отлично болтают и генерируют контент, но у них «слабые гарантии». Они врут, галлюцинируют и, главное, не могут объяснить, почему приняли то или иное решение. Для генерации картинок это нормально, а вот для системы управления огнем — фатально. С другой стороны, есть старая добрая логика и автоматические рассуждения, которые надежны и проверяемы, но они ужасно масштабируются и не умеют работать с гибкостью реального мира.
Пентагон предлагает гибридное решение — систему, которая объединит гибкость нейросетей с железной логикой классических алгоритмов. Они называют это «композиционным обучением и рассуждением». Цель — создать ИИ, который будет работать с «высокой степенью гарантии». Это значит, что система должна уметь математически доказывать правильность своих выводов и объяснять их человеку на языке логики, а не просто выдавать вероятность.
В описании упоминается «kill web» (сеть поражения). Примеры задач: распознавание целей, отслеживание, выбор оружия и поддержка принятия решений при сортировке угроз. Им нужен алгоритм, который выберет цель для удара, подберет боеприпас и сможет юридически обосновать офицеру, почему нужно стрелять именно сюда. Текущие «черные ящики» на это не способны, и военные США боятся их внедрять без «логического предохранителя».
От исполнителей требуют, чтобы система работала за полиномиальное время (то есть быстро, а не висла на сложных расчетах) и при этом была полностью верифицируема. Они хотят, чтобы ИИ обучался не только на гигабайтах данных, но и через прямую загрузку правил и знаний, как в старых экспертных системах. Причем весь софт должен быть с открытым кодом (лицензия Apache 2.0) — Пентагон не хочет попасть в зависимость от одного вендора и планирует создать универсальную библиотеку, которую потом можно будет натянуть на любую военную задачу.
https://dzen.ru/id/6430269434531801e9ad5a8c
