Революция в ИИ-революции начинается с попыток заменить «черный ящик» на «стеклянный»
COO DeepMind Лила Ибрахим в пятничном групповом интервью «пятерки посвященных» о самом важном в современном развитии ИИ сказала: критически важно, чтобы ИИ системы объясняли, как она принимают решения.
За этим признанием стоит позиция Гугла, от которого направление развития ИИ зависит, как от никого другого. И значит теперь есть шанс, что революция в ИИ-революции начинается.
Ведь 1е прорывное ИИ решение DeepMind, способное объяснять принимаемые решения уже создано. Это медицинский ИИ, разработанный DeepMind совместно с лондонской клиникой Moorfields Eye и Университетским колледжем Лондона, для подбора лечения при 50+ заболеваний глаз.
Нужно понимать, что все ИИ разработки, основанные на глубоком обучении (а это практически все прорывные решения в современном ИИ) — это наихудший путь с т.з. объяснений, почему ИИ принимает это решение, а не другое. Вот иллюстрация того, что среди разных методов реализации ИИ, глубокое обучение — лучше всех по точности прогнозов и хуже всех по возможности объяснить свои прогнозы.
Эта необъяснимость решения современных ИИ называется проблемой «черного ящика»
Я начал писать на своем канале про этот важнейший для ИИ вызов с момента его создания. Писал уже о многом:
- о «Проекте объяснимого ИИ» — XAI, начатом DARPA в 2016;
- о «черной метке черным ящикам», полученной от госсектора США;
- о нарастающих здесь рисках
- и даже о литературной интерпретации этого вызова Пелевиным.
Но сейчас с приоритезацией этого вызова DeepMind, ситуация в корне меняется.
Неделю назад на ‘2018 International Explainable AI Symposium’ Дэвид Ганнин — руководитель DARPA’вского проекта XAI — рассказал, что в мае исследователи XAI уже продемонстрировали раннюю модель системы объяснительного обучения, а в ноябре будет озвучена оценка результатов 1й фазы проекта.
Решением этого вызова фокусно занимается не только DARPA. Новейшие и уникальные доки по этому вопросу желающие найдут на ресурсах:
- Heatmapping.org (совместный проект Fraunhofer HHI, TU Berlin, SUTD Singapore) — см. подробный туториал по теме в 4х частях;
- корейского Центра объяснимого ИИ XAIC
Однако, самым важным в исследованиях названных выше центров стало открытие новыго колоссального вызова:
Объяснимый ИИ не решает всех проблем — нужен ИИ в формате «стеклянного ящика», т.е. НЕ САМ объясняющий себя людям, а дающий возможность людям видеть его насквозь, самостоятельно постигая смысл и логику его решений и рекомендаций.
Причина этого оказалась в том, что, пользуясь людской ограниченностью и зашоренностью, ИИ в состоянии так «объяснить» свои решения, что люди не смогут увидеть «разводку» со стороны ИИ.
И это значит, что последнее решение «бить или не бить» навсегда должно остаться за людьми.
Подробней об этом здесь
_________________________
Хотите читать подобные публикации? Подписывайтесь на мой канал в Телеграме, Medium, Яндекс-Дзене
Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”