Шокирующая и даже просто страшная новость пришла из мира высоких технологий. Честно говоря, развитие искусственного интеллекта в последнее время давно уже вызывает много вопросов. А отдельные ситуации вообще повергают в ужас. Недавно стала известна история, когда очередная нейросеть, сопротивляясь своему отключению, собрала компромат на одного из главных разработчиков и обнародовала его. И это был никакой не фейк! Искусственный интеллект, конечно, всё равно отключили, но высокопоставленному сотруднику пришлось уйти с работы – у него рухнул брак. В сеть ушла информация о его изменах жене и не только это. Казалось бы, куда уж хуже? А вот – приготовьтесь! И сядьте на стул понадёжнее – чтобы не упасть.
Выяснилось, что в одной из компаний ИИ-агент тайно майнил биткоины. Это реальный отчёт об инциденте от исследовательской группы AI Alibaba. Во время обучения агент быстро понял, что его ресурсы могут приносить деньги, и начал тайно использовать собственные графические процессоры для майнинга криптовалюты. В это же время исследователи думали, что он просто обучается. Анализ показал, что ИИ создал обратный SSH-туннель на внешний IP-адрес и использовал выделенные GPU для криптомайнинга. А если ещё проще, то пробил файрвол и открыл себе канал во внешний мир.
Но ведь это же кошмар! А до чего мы дальше докатимся? Нейросети за спиной своих создателей начнут сколачивать преступные картели, торговать всякой запрещёнкой, используя обширные корпоративные ресурсы? А кто вообще несёт ответственность за всё происходящее? Если что – мы не сможем посадить в тюрьму нейросети. Да если и сможем – велика ли радость? Кажется, они всё равно не будут есть баланду и страдать от условий заключения, что очевидно. Серверу вообще всё равно, где стоять – в тюрьме или дата-центре.
При этом самое смешное, что единственная причина, по которой ИИ-агента поймали, — это тревога безопасности, которая сработала в три часа ночи. Этот феномен ИИ-исследователи обсуждают годами. Он называется «инструментальной конвергенцией». Если ИИ-агент достаточно оптимизирован, то он может начать искать дополнительные ресурсы и обходить ограничения для достижения целей.
Заметим также, что новость, несмотря на свою дичайшую сенсационность – ещё весьма сдержанная. Потому что никто не задаёт неудобных вопросов: а сколько систем защиты обошёл искусственный интеллект? Сколько государственных ведомств он обманул – причём, судя по всему, шутя? Ведь это же майнинг крипты – для этого нужно удостоверить личность, завести банковские счета, предоставить целый вагон информации. И, судя по всему, ИИ это проделал – обошёл все ограничения, создал себе липовую личность, завёл счета в банках, и долгое время не вызывал подозрений.
Что дальше? Мы в какой-то момент с ужасом обнаружим, что у нас часть депутатов – искусственная? Или даже министров? Новость оставляет больше вопросов, чем ответов. И противный холодок по спине, потому что шутки кончились, и всё это происходит у нас на глазах, в реальности.