Вышла моя большая статья в академическом издании http://digital-economy.ru/images/easyblog_articles/1258/DE-2025-01-06.pdf
Но поскольку читают эти журналы только в Академии наук, то статью перепечатали энтузиасты здесь: http://www.oboznik.ru/?p=82020
Там можно почитать полную версию статьи с экрана полностью. На мой взгляд, не очень удачный шрифт у них, кроме того, некогда читать большие тексты никому. Поэтому в этом канала для широкой публики приведу статью фрагментами с продолжениями.
Помимо очевидных плюсов, которые приносит развитие и внедрение любых новых технологий, возможны и негативные последствия бесконтрольного и широкого использования искусственного интеллекта. Возможны три основных неблагоприятных сценария и различные их комбинации. Сценарии даны в порядке возрастания их опасности и сложности нивелирования последствий.
Первый сценарий – массовые техногенные катастрофы, порожденные непрозрачными алгоритмами, на которых строятся технологии искусственного интеллекта.
Второй – катастрофа гносеологическая, порожденная информационным шумом, создаваемым искусственным интеллектом.
Третья – катастрофа экономическая, порожденная интеллектуализацией средств производства.
Техногенные катастрофы, порожденные непрозрачными алгоритмами работы AI.
Говоря о возможности и причинах массовых техногенных катастроф, особой опасностью которых будет являться их абсолютная непредсказуемость, следует разобраться, что же понимается в массовом сознании под термином «искусственный интеллект»?
Сейчас это в некотором роде «коммерческий», «журналистский» термин для широкой публики, наподобие термина «электронные мозги», который использовали ещё со времен ЭНИАКа.
Сегодня под понятием «искусственный интеллект» в самом широком смысле скрывается несколько основных существенно различающихся между собой технологий: нейронные сети, экспертные системы и автоматическое управление. В самом упрощенном варианте эти технологии решают и разные задачи: нейронные сети – это, прежде всего, классификация объектов, экспертные системы – это построение последовательности логических выводов, автоматическое управление – интерактивное управление технологическими процессами. Понятно, что все эти задачи могут быть сведены воедино в одну систему.
Конкретные «коммерческие» продукты на основе AI содержат в себе еще много различных тоже очень сложных алгоритмов, которые либо готовят данные для AI, либо используют результаты его срабатывания. Например, системы генеративного искусственного интеллекта, создающего картинки по тестовым запросам пользователей, содержат помимо алгоритмов интеллектуального распознавания текста в контексте, ещё и алгоритмы морфинга, алгоритмы моделирования поверхностей, алгоритмы генерации окружения (зданий, деревьев, неба и прочего), которые никогда не относились и посторонней публикой, и инженерами к направлению «искусственный интеллект».
Под искусственным интеллектом в широком смысле подразумевается способность искусственного (созданного человеком объекта) вести себя как естественный (созданный природой за миллионы лет эволюции) субъект. Отметим, что в английском языке есть принципиальные различия между словами «Intelligence» и «Intellect», которые на русский язык принято переводить одним словом – интеллект. Однако «Intelligence» – это, прежде всего, способность к собиранию и сложной обработке данных. Например, Intelligence Service – служба разведки, шпионажа. То есть Artificial Intelligence это прежде всего сложные искусственные системы сложной обработки сложных наборов данных.
Исследование множества определений термина «Artificial Intelligence» и технологий, которые скрываются за этим описанием, позволяют дать собственное определение:
Искусственный интеллект (ИИ, Artificial Intelligence, AI) – алгоритм, способный самостоятельно создавать алгоритмы, в результате срабатывания которых возможна постановка и достижение наиболее оптимальным способом новой, ранее не сформулированной создателем алгоритма цели.
Впервые это определение дано мною тут: http://digital-economy.ru/images/easyblog_articles/529/DE-2018-03-04.pdf
Там тоже большая статья, кому интересно, скачивайте, читайте. Там ещё и картинки всякие есть.
Важно отметить, что технологии AI настолько усложнились, что сама готовая рабочая и эксплуатируемая система AI превращается в некий «черный ящик», а сами инженеры-разработчики зачастую не могут предсказать, какие именно результаты будут получены системой AI. То есть результат моделирования срабатывания этого алгоритма другими подобными и даже идентичными алгоритмами не может быть четко определен с приемлемой точностью и временными затратами моделируемым алгоритмом.
Особенно это касается нейронных сетей. По сути, всякая сетевая структура с точки зрения программиста представляется матрицей связности, в узлах которых будут либо индикаторы связности, либо веса связности. И обучение сети в итоге идёт как настройка изменений этих весов. Если смотреть глубже, с точки зрения аппаратной реализации, то и матрица связности не матрица, а линейный периодический массив. Математика нейронных сетей устроена так, что непохожие сети с непохожими матрицами могут выдавать в принципе похожие решения. И эти решения будут удовлетворять нас вплоть до наступления некоторого критического события – катастрофы, появления которой мы не можем предугадать. То есть нейронная сеть представляет собой огромную матрицу чисел, понять, что и как зашифровано в ней (на каких примерах настраивались веса) не представляется возможным в принципе.
Например, на одной конференции по AI инженеры системы безопасности рассказали следующее. Разрабатывалась система, которая определяет, можно ли различным автомобилям въезжать на охраняемую территорию. Создатели системы вложили в обучающие примеры «троянского коня» – система однозначно пропускала любую машину, если на капоте была особая надпись-пароль, известная только создателям. Понятно, что это делалось с благими целями – чтобы была возможность проезда машины для ремонта в случае всяких сбоев системы. Но на мой вопрос: «А можете ли вы дать гарантию, что подобную же картинку с собственным паролем не «скормили» нейросети злоумышленники?», инженеры-разработчики не смогли дать однозначного ответа. Это первая и глобальная опасность технологий, построенных на обучаемых нейронных сетях – принципиальная невозможность определить, что же за данные были использованы в обучении.
Вторая фундаментальная опасность нейронных сетей заключается в отсутствии математически четкого, теоретически и практического обоснованного правила, регламентирующего количество обучающих примеров для сети. Например, если у нас будет нейронная сеть, задачей которой будет только дать ответ, человеческое ли это лицо или нет, и мы обучим эту сеть всего на одной фотографии человека, то сеть будет распознавать как человека изображение только на этой фотографии, всё остальное человечество будет отринуто. Если же мы обучим сеть на всех фотографиях человечества, включая безусловно людей разумных, но инвалидов или с тяжелыми генетическими заболеваниями и уродствами, то сеть будет распознавать любой более-менее овальный объект как лицо человека. Это примерно, как накладывать полупрозрачные слайды с фотографиями лиц друг на друга. На некотором количестве слайдов можно будет получить усредненную размытую картинку, где четко будут выявлены темные пятна в области глаз и рта, выпуклости по бокам головы – уши, облако волос сверху и так далее. Но если продолжать накладывать слайды, то рано или поздно мы получим размазанное неопределённое пятно, согласно которому за человеческое лицо можно будет даже принять фотографию собаки в полный рост в профиль.
Экспертные системы, которые тоже относятся к сфере искусственного интеллекта, работают по другому принципу. В базу знаний такой системы заносятся наборы правил вида «Если А, то В, иначе С», «Если В, то D, иначе F». Эти правила связаны между собой по переменным А, В, С, D и с помощью логических выражений И, ИЛИ, НЕ. Например, «Если идет дождь, то возьмите зонт» И «Если взяли зонт, то наденьте сапоги». В итоге получается составное правило, которое говорит нам, что «Если идет дождь, то возьмите зонт и наденьте сапоги», хотя в первоначальных правилах связь с дождем имел только зонт. Так экспертные системы получают новые знания и правила. В отличие от нейронных сетей такие системы достаточно прозрачны для понимания срабатывания и контроля логических выводов.
Фундаментальная проблема, из-за которой экспертные системы такого типа не получили широкого распространения – сложность построения и сбора правил. Всегда остается большая вероятность того, что необходимые базовые правила не собраны или построены таким образом, что будет невозможно создание необходимых логических цепочек. Если же собрано достаточно большое количество правил, то такие системы начинают сбоить из-за того, что топология связей между правилами становится слишком сложная, а в сложной топологии есть большая вероятность того, что будет построена абсолютно логически связанная система выводов, которая в итоге даст общую бессмысленную рекомендацию. Например, если идёт дождь, то вполне можно построить логическую цепь, которая однозначно будет утверждать, что надо прочистить ливневую канализацию и ни словом не упомянет про зонт.
Повторюсь, что, говоря об искусственном интеллекте, следует понимать – в текущем прикладном аспекте это прежде всего маркетинговый термин, за которым скрываются сложные управляющие алгоритмы. Причем с точки зрения проводимых вычислений это могут быть совсем простые операции – что-то типа подсчёта средних значений и сравнения их между собой. А вот логика ветвления этих алгоритмов может быть очень сложной. Эти ветвления представляют собой не просто некоторую дорогу с перекрестками, а сложную дорожную сеть, причем сеть в многомерном пространстве. И в этой сложной дорожной сети из точки А в область точки В можно прийти совершенно разными путями. Конкретный путь каждого алгоритма может зависеть от множества сиюминутных входных значений и условий, вплоть до скачков напряжения в электрической сети во время вычислений. Поэтому один и тот же алгоритм при одних и тех же входных данных может выдавать разные по оптимальности решения. И просчитать эти решения на таком же точно алгоритме, запущенном параллельно, становится невозможным. То есть, и это особенно важно, алгоритмы AI, из-за собственной сложности и из-за сложности в постановке и определении качества результата ведут пользователя не точно «из точки A в точку B», а ведут в «область» точки B. Площадь этой области и определяет точность алгоритма, но проблема в том, что пользователь сам не в состоянии определить, где же эта точка B и вынужден на веру принимать решение, предложенное алгоритмом AI.
Ещё одна сфера, относящаяся к искусственному интеллекту – системы автоматического управления различными технологическими процессами, от выплавки стали, до рисования картин и удержания равновесия двуногими роботами. Как правило, такие системы работают, используя следующий принцип: есть выходные значения, которые мы должны достигнуть, и есть множество входных параметров, которые можно изменять, чтоб достигнуть нужных выходных значений. Как видим, система закольцовывает выход на вход через какую-то функцию отрицательной обратной связи. Задачей AI-инженеров является построение самой оптимальной петли обратной связи.
Проблемы современных систем управления заключаются в том, что управляемые объекты становятся невероятно сложными. Сложные объекты порождают огромное количество данных, которые либо невозможно учесть – датчики не успевают срабатывать, либо невозможно обработать – не справляются вычислительные алгоритмы. И сложность объектов будет только возрастать со временем.
Сам фактор времени, не как дискретно-непрерывных отрезков квантования для управления, а Времени как сути, задающей давность, непрерывную протяженность причинно-следственных связей нашей технологической цивилизации, начинает всё больше играть зловещую глубинную, еще не понятую нами, роль. Дело в том, что практически все современные технологические решения, которые кажутся нам абсолютно новыми и созданными вот только что, на самом деле базируются на некотором предыдущем технологическом фундаменте. Так же обстоит дело и набором обрабатываемых данных – зачастую уже невозможно определить, откуда берутся данные, кем и когда они были подготовлены и какими алгоритмами они обрабатываются, прежде чем попадут в контуры управления.
Об этом я писал подробнее здесь: https://dzen.ru/a/Z5h4IlNogVzNla-p
Ещё один практически необнаруживаемый троянский конь создан в том числе и основной парадигмой объектно-ориентированного программирования (ООП). Главными столпами ООП, помимо классов и абстракции, являются инкапсуляция, наследование и полиморфизм. Инкапсуляция скрывает от программиста суть алгоритма, наследование не позволяет разобраться, какой из алгоритмов в итоге сработает, а полиморфизм вообще разрешает использовать методы объектов с одинаковой сигнатурой совершенно отличным от начального проекта способом. Помимо бестолковой громоздкости генерируемых таким способом исполняемых кодов, мы получаем проблему совершенной невозможности разобраться в дебаггируемой программе просто из-за её невероятного объема.
Все перечисленные выше проблемы, имеют одну суть – сложность алгоритмов искусственного интеллекта порождает принципиальную невозможность внешнего (человеческого) контроля за производимыми вычислениями, а следовательно, возникают различные опасные ситуации.
И это основные техногенные предпосылки к тому, как усложнение технологий искусственного интеллекта может привести к крупнейшим техногенным катастрофам. А поскольку и устранением последствий таких катастроф рано или поздно займется искусственный интеллект, то и нет возможности предположить, как именно будет выглядеть безопасный для человека мир с точки зрения AI. Ведь с точки зрения логики, теории вероятности, и теории обратных связей выражение «Нет человека, нет проблем» является самым оптимальным решением.
Продолжение следует...