Я принадлежу к свободной и открытой культуре, и не призываю остановить развитие технологий, но важно убедиться — ради блага общества — что мы в состоянии удержать равновесие. Я не хочу просто пугать инфокалипсисом, но я прошу отнестись ко всему этому серьёзно, оценить последствия. Сначала убедитесь, что на самом деле до этого не дойдёт, — сказал Овадья в беседе с BuzzFeed News.
Достаточно буквально пары громких скандалов, чтобы общество поверило, что иллюзорно абсолютно всё.
В середине 2016 года Авив Овадья (Aviv Ovadya) понял, что с интернетом что-то не так — и это очень серьёзное «не так». Настолько, что он бросил работу и попытался поднять тревогу. До президентских выборов 2016 года оставалось несколько недель. Опасения о надвигающемся кризисе дезинформации Овадья изложил в презентации (он назвал её «Инфокалипсис») — и отправил её другим ИТ-специалистам из Сан-Франциско.
Авив Овадья утверждал тогда, что интернет и его информационная экосистема жутко больны. Алгоритмы крупнейших соцсетей настроены так, что в топ попадает информация либо ложная, либо тенденциозная (или и то, и другое). Facebook, Twitter и Google поставили во главу угла клики, шеры, рекламу и деньги — в ущерб качеству информации. Овадья никак не мог отделаться от ощущения, что всё неспроста, что зреет какой-то дурной замысел и объём вредной информации уже близок к критическому порогу.
Тогда у меня было ощущение, как будто мы в машине, которая набрала скорость и уже не слушается руля. Но даже расхожей фразы, что всё будет в порядке, не слышно — нет, люди даже самой машины не замечают!.
Реальная угроза — технологии, искажающие реальность. Они развиваются так быстро, что мы не успеваем понять, что происходит, а тем более — взять под контроль или хотя бы снизить их влияние. Ставки высоки, а возможные последствия ещё более угрожающи, чем ранее. С помощью этих технологий можно отбросить назад или даже опрокинуть ключевые институты общества — это и есть инфокалипсис.
Где-то в тёмных закоулках интернета уже начали выпускать порнографию с реалистическими лицами знаменитостей, «приклеенными» к телам порноактёров. В Стэнфорде написали программу, которая в уже записанное видео может вставить фрагменты с людьми, отслеживаемыми в формате реального времени.
В университете Вашингтона удалось создать софт, который превращает аудиоклип в реалистичное видео, точно воспроизводя артикуляцию. То есть человек как бы произносит слова из аудиоклипа — и его губы движутся в соответствии с этими словами.
И как будто в подтверждение обрисованной выше концепции, обе университетские команды, демонстрируя возможности своих программ, заставили в них мировых лидеров говорить то, чего они никогда не произносили на самом деле.
Пример работы открытого сервиса по созданию голосовых аватаров — Lyrebird
Когда подобные инструменты станут предельно доступными, можно ожидать весьма неприятных примеров их использования — и чрезвычайно неприятных последствий.
Один из таких сценариев — «дипломатические манипуляции». Например, кто-то захочет вмешаться в геополитику. Продвинутые технологии помогут ему убедить других, что некое событие реально произошло.
Это может быть так: сперва программа машинного обучения анализирует огромное количество данных, чтобы освоить нужную функцию, а затем в неё загружают сотни часов видеозаписей с Дональдом Трампом или северокорейским лидером Ким Чен Ыном. Результат её труда — аудио или видеоклип с кем-то из них. Герой ролика выглядит и говорит так, что едва ли отличишь от настоящего. И в этой записи он объявляет ядерную или биологическую войну. Даже нет нужды в идеальной имитации, достаточно сделать просто хорошую копию, чтобы потенциальный противник поверил в происходящее. А дальше — предсказуемая реакция, вызванная жаждой возмездия.
Следующий приём — автоматический лазерный фишинг. Об этом уже шепчутся специалисты по безопасности. Суть его в следующем: искусственный интеллект анализирует информацию о пользователях соцсети (или любую другую публичную информацию), после чего посылает им фальшивые сообщения. Он делает это от имени людей, которых адресаты знают, поэтому сообщения выглядят очень убедительно. Нечто подобное злоумышленники могут использовать и в политике: достаточно выбрать конкретного политика, проанализировать данные, которые есть в свободном доступе, — и вот уже можно создать правдоподобную имитацию.
В следующие несколько лет нам нужно готовиться к появлению пропагандистов-любителей. Может быть, им даже удастся разбогатеть, создавая фотореалистичные фикции событий
Овадья отмечает, что сейчас сама тема пропаганды в интернете вызывает гораздо больше интереса, чем раньше. Сейчас к его предостережениям внимательнее относятся даже те, кто раньше не воспринимал их всерьёз: «Сначала всё было совсем печально — никто даже не слушал. Но последние несколько месяцев были более обнадёживающими». Может быть, постепенно найдутся и подходящие решения — например, криптографическая верификация, которая позволит отличить настоящее изображений или аудио от фальсификации.
Подписывайтесь на канал!
Да пребудет с вами сила полезной информации!