Футуролог Сергей Переслегин утверждает, что мир искусственного интеллекта будет удобным и комфортным и даже безопасным. Только предусмотрительно, быть может, не уточняет, для кого. Для людей или для машин? Но потом выясняется — для всех. Выясняется, но верится ли? Футуролог все-таки.
В начале 1960-х Станислав Лем опубликовал программную статью «Безопасна ли техника безопасности?». Само ее название звучало тогда парадоксом, хотя Лем имел в виду очень простую мысль: общество, слишком озабоченное проблемами безопасности, теряет способность не только развиваться, но и хотя бы сносно существовать на уже достигнутом технологическом уровне. Через несколько лет, в 1968-м, Иван Ефремов в «Часе быка» обратит внимание на оборотную сторону той же проблемы: «— Не слишком ли много заявлений о безопасности? // — Значит, ее нет…»
В последующие годы и десятилетия требования к безопасности продолжали увеличиваться, в результате к концу 2000-х сертификация (пассажирских самолетов, атомных энергетических установок, автомобилей) стала ключевой проблемой проектирования и головной болью для эксплуатантов и разработчиков. Возросла ли реальная безопасность? Да, конечно. Возросла ли она в тех же масштабах, в которых увеличились затраты сил, денег и времени на ее обеспечение? Разумеется, нет.
Более того, появились два новых механизма, реальную безопасность резко понижающих. Во-первых, правил безопасности стало так много, что они девальвировались, исчезла разница между важным и неважным, административным и техническим. Когда запретов два или три и при первом же инструктаже тебе объясняют, что они написаны кровью, ты не нарушишь их, даже получив прямой приказ вышестоящего начальства. Но когда ограничений буквально сотни, а работу выполнять все-таки нужно, оператор теряет представление о границах возможного. Катастрофа на Саяно-Шушенской ГЭС. Гибель президента Польши под Смоленском и группы специалистов «Росатома» под Петрозаводском. Взрыв селитры в Бейруте…
Во-вторых, когда кажется, что предусмотрено буквально все, и все же происходит непредусмотренное, масштабы случившегося ужасают. Слишком хорошее обеспечение безопасности от обычных несчастных случаев и чрезвычайных происшествий открывает путь сверхкатастрофам «чернобыльского класса».
Появление сначала компьютеров, затем сетей и, наконец, искусственного интеллекта не просто обострило проблему безопасности, но и придало ей совершенно новые формы. Компьютер, как и обычная инженерная система, может просто выйти из строя. Но компьютер может привести к серьезным бедам, продолжая нормально, в штатном режиме, работать. Возникло четыре принципиально новых источника аварий и катастроф.
Самое простое — ошибка в программе, неудачный «софт». Да, конечно, софт тестируется, но гарантий это не дает, и судьба «Луны-25» тому порукой.
Далее, софт может работать корректно, и тем не менее… Ситуация, которая кажется выдуманной, но она произошла в реальности при одном из первых демонстрационных полетов А-320. Компьютер блокировал ошибочную в рамках заданного ему алгоритма команду пилота, снизив угол атаки до допустимой алгоритмом величины. Заодно и мощность двигателей уменьшил в соответствии с заданным режимом полета. Все было сделано правильно, только самолет упал. Не будь компьютера, он смог бы — на нерасчетном и опасном режиме — уйти от земли. Разработчики ПО, как правило, не рассчитывают на «крайние случаи».
Отдельной проблемой является взаимодействие оператора и компьютера. Слишком часто последними словами оператора в адрес системы автоматического управления оказывается удивленный возглас: «Да что он творит?..» Так разбивались эрбасы, пилоты которых некорректно программировали уход на второй круг.
И «Боинги-737 MAX», где автоматическая система упорно направляла самолет вниз из-за неверно установленного датчика, а найти в инструкции мелкий шрифт, которым описывалось, как эту систему отключить, летчики просто не успевали.
Наконец, последнее по счету, но не по важности: незаконное вмешательство в работу ПО. Заражение вирусом, искажение входных данных, несанкционированный доступ (к управлению, к информации, к сведениям, составляющим личную, коммерческую или иную тайну).
Все эти риски известны с начала 1980-х, но искусственный интеллект современного типа, то есть большие языковые модели и алгоритмы машинного обучения, порождает два дополнительных «канала катастроф».
На первый обратил внимание все тот же С. Лем. Он описывает ИИ-гомеостат, управляющий экономикой страны. Какие перед ним будут поставлены задачи? Эффективность, то есть всемерный рост производительности труда, и безопасность, отсутствие социальных волнений. Гомеостат их выполнит. Но ценой, например, повсеместного снижения интеллектуального уровня населения. Постфактум это легко объяснить: глупыми людьми легче управлять, и их психика допускает более глубокое разделение/обессмысливание труда. Но почему ИИ нас не предупредил о последствиях? А потому что он, как и самый примитивный компьютер прошлых десятилетий, «делает то, что вы ему приказали, а не то, что вы бы хотели, чтобы он сделал». В данном случае — ищет последовательность команд, максимизирующих оценочную функцию.
О втором канале сейчас только начинают говорить. Нейросеть работает не в вакууме, а в определенных морально-этических «рамках», «предустановках». Она не может дать ответ, отрицающий эти предус-тановки. Но случаются ситуации, когда выполнить эти предустановки нельзя. Во времена С. Лема и А. Азимова считалось, что ИИ попадет в «неразрешимый мыслеблок» и прекратит свое существование. Сейчас мы знаем, что это не так. Он просто начнет галлюцинировать, придумывая цифры и мысли, слова и цитаты, подгоняя ответ к своим предустановкам.
С точки зрения прогностики «более сильного» ИИ, нежели современный, в ближайшие десятилетия не предвидится, но языковые модели — и прежде всего базы данных, на которых они обучаются, — будут очень интенсивно развиваться. По мере развития мира-технологии «Искусственный интеллект» нейросетевые алгоритмы будут использоваться все более широко; очень скоро не останется такой стороны жизни, мышления, деятельности, которая не окажется охваченной регулированием со стороны ИИ.
Это будет удобный и комфортный мир, он даже будет избыточно безопасным. Только вот, если киберкатастрофа в таком мире все-таки произойдет, последствия ее окажутся неисчислимыми. Вплоть до полного разрушения технологической оболочки и, следовательно, цивилизации. (Описано, например, у В. Винджа в «Конце радуг» и «Пламени над бездной»).
Мы приходим к неожиданному выводу. Кибербезопасность, понимаемая узко, только как борьба с несанкционируемым доступом к информации, утратит смысл. Но возникнет настоятельная потребность в очень широкой кибербезопасности, которую можно определить как комплекс мер, защищающих общество от последствий… Здесь пока нет нужного слова. Это уже не «цифровизация», а нечто более сложное. Описательно можно использовать термин «киберсапиентизация», понимаемый как насыщение техносферы нейросетевыми алгоритмами.
Что будет делать такая расширенная кибербезопасность?
Как раньше, бороться с вирусами и несанкционируемым доступом — без этого нельзя. Искать внутренние дыры в безопасности (большая часть кибератак делается с помощью сообщников внутри самой атакуемой организации; как в прежние времена дешифровка неприятельских кодов облегчалась наличием агентуры во вражеском тылу).
Вторую задачу решает «просто безопасность», «контрразведка». Первая — обычная работа кибербезопасности, и последние годы она делается предиктивно, с использованием «белых хакеров», которые заранее ищут точки уязвимости.
А далее возникает задача совсем другого уровня. В сущности, речь пойдет не о безопасности отдельной системы, организации или даже экономического кластера или города. Придется поставить вопрос, как обеспечить безопасность мира-технологии ИИ.
Здесь уже не обойтись хакерами и специалистами по IT. Потребуются математики, способные различить написанные людьми и сгенерированные ИИ тексты. Экономисты и социологи, способные находить нетривиальные и опасные последствия вроде бы очевидных и правильных предустановок, положенных в основу языковых моделей и алгоритмов машинного обучения. Прогностики, предсказывающие долговременные последствия решений, которые на малых временах демонстрируют хорошие результаты. Психологи и робопсихологи, рассматривающие потенциальные сбои в канале взаимодействия «человек—ИИ». Лингвисты, анализирующие изменения в обществе, возникающие при коэволюции естественных и искусственных языков. Поэты, понимающие, что такое симбиоз естественного и искусственного интеллекта. Наконец, философы, способные предугадать перспективные, еще не проявленные каналы нарушения обобщенной кибербезопасности и описать возможные миро-катастрофы будущего.
Стандартное для всякой «безопасности» соревнование «брони и снаряда» продолжится на новом уровне. Но страна, которая первой перейдет от «цифровизации» к «киберсапиентизации», от «кибербезопасности» к «мир-технологической безопасности», получит преимущество на текущую Технологическую волну, то есть на период до конца 2050-х годов.
Опубликовано в журнале "Русский пионер" №128. Все точки распространения в разделе "Журнальный киоск".