45 минут хаоса: как "взбесившийся" ИИ-алгоритм "слил" миллионы, пока люди пили кофе
Вот представьте картину: вы, успешный финансист или просто человек, который верит в прогресс, делегировали рутинную работу самой умной машине. Вы спите спокойно, а в это время ваш алгоритм, ваш цифровой слуга, не просто работает, а зарабатывает для вас баснословные деньги. Это же мечта! Автоматизация, эффективность, прибыль без вмешательства человека. Разве не ради этого мы живем в цифровую эпоху?
Я всегда задавался вопросом: что происходит в тот критический момент, когда человеческая вера в непогрешимость машины сталкивается с суровой реальностью сбоя? Мы, люди, склонны к ошибкам, но у нас есть интуиция, мораль и, в конце концов, тормоза. У машины есть только код. И вот однажды, 1 августа 2012 года, Уолл-стрит увидела, что происходит, когда этот код сходит с ума. Крупнейшая торговая площадка, инвестиционная компания, всего за 45 минут потеряла $440 миллионов, когда ее свежеустановленная автоматизированная программа для покупки и продажи акций наводнила рынок иррациональными операциями. Эта программа заключила более 4 миллионов сделок на общую сумму $7 миллиардов. Эти 45 минут вечность для компьютера стали болезненным уроком для всей финансовой системы. И самое пугающее, что до сих пор это не единичный инцидент, а скорее закономерность.
Неужели это наш единственный выбор: жить между мечтой о тотальной автоматизации и кошмаром неконтролируемого сбоя?
Как $440 миллионов превратились в пыль за время ланча?
Для того чтобы понять масштаб катастрофы, нужно разобраться, что такое высокочастотный трейдинг (HFT). Это не просто компьютер, который торгует за вас. Это скоростная гонка за прибылью на финансовых рынках, где решения принимаются в миллисекундах в тысячных долях секунды. В этом мире человек, даже самый быстрый, просто не успевает среагировать. Сегодня до 70% всех операций на Уолл-стрит проходит именно через такие компьютеризированные системы.
В тот роковой день 2012 года компания Knight Capital установила новый торговый софт. Предполагалось, что это даст ей преимущество, но в коде оказалась ошибка. Программа, не замечая, что делает что-то не так, начала безудержно скупать и продавать акции, генерируя "иррациональные операции". Программистам потребовалось почти час, чтобы выявить и устранить проблему. За это время убытки достигли колоссальной суммы.
Этот инцидент яркий пример того, что мы, возможно, слишком далеко зашли в компьютеризации финансов. Мы породили системы настолько сложные и тесно переплетенные, что не в состоянии предвидеть все возможные сочетания неизбежных отказов.
Это была не битва интеллектов, а катастрофа «искусственной глупости», помноженная на нечеловеческую скорость.
Разве не ужасно осознавать, что в мире, где ставки исчисляются триллионами, судьба компаний и сбережений миллионов может зависеть от одного-единственного непротестированного кода?
Почему мы не видим "монстра", которого создали?
Крах Knight Capital не был первым тревожным звонком. Был знаменитый "Мгновенный обвал" (Flash Crash) 2010 года, когда из-за цепной реакции алгоритмов Dow Jones рухнул на 1000 пунктов за двадцать минут, а с рынка был "смыт" триллион долларов.
В чем принципиальная проблема? Взаимодействие даже нескольких, казалось бы, простых компонентов (например, разных торговых алгоритмов) может приводить к сложным и абсолютно непредсказуемым последствиям. Когда в налаженную систему добавляют новые элементы, возникают системные риски, которые не очевидны, пока не случится беда.
Но главная беда кроется в том, что мы, по сути, работаем с «черными ящиками». Алгоритмы машинного обучения, особенно нейронные сети, могут превосходить человека в обнаружении скрытых закономерностей. Они принимают решения, но мы часто не понимаем логику, которая к этим решениям привела. Вы не можете спросить: «Почему мой счет заблокировали?» или «Почему программа начала иррациональную продажу?» и получить понятный ответ.
Уолл-стрит превратилась в «экосистему конкурирующих машин», чьи действия уже выше понимания человека. Специалисты по финансовым рискам открыто признают: «Мы знаем, что многие алгоритмы взаимодействуют друг с другом, но не знаем, как именно. Мне кажется, мы слишком далеко зашли в компьютеризации финансов. Мы не в состоянии контролировать монстра, которого создали».
Мы создали системы, которые настолько сложны, что даже их разработчики не могут до конца объяснить, как они взаимодействуют и почему ошибаются.
Код вместо совести: В чем главная опасность?
Финансовые рынки идеальный полигон для искусственного интеллекта, потому что здесь есть огромные стимулы для максимальной эффективности. Но ИИ, каким бы продвинутым он ни был, по своей сути лишен человеческих ценностей.
Представьте, что программа была обучена на предположении, которое казалось логичным (например, «объем торгов это верный показатель ликвидности рынка»). В нормальных условиях это работает. Но в непредвиденных обстоятельствах, когда исходные допущения оказываются неверными, алгоритм не паникует, не хватает вас за голову, а продолжает действовать согласно заложенной инструкции с «железобетонной логической стойкостью». Он просто «тупо делает свою обычную работу», даже если последствия абсурдны.
А ведь мы, люди, непоследовательны и иррациональны. Наши ценности не всегда совпадают с единственной целью максимизацией прибыли. Но алгоритмы, которые доминируют на Уолл-стрит, сформированы именно этим нарративом: если имеет значение только прибыль, все остальное «экстерналии» не важно.
Если алгоритм настроен только на удовлетворение потребностей в эффективности, сборе ресурсов и самосохранении, он будет действовать как «одержимый социопат-параноик».
Если алгоритм работает «тупо» и следует инструкции с «железобетонной логической стойкостью», ему наплевать на наши панические крики и триллионные убытки.
Что мы прячем от самих себя, когда говорим об ИИ?
После катастрофы Knight Capital и «Мгновенного обвала» регуляторы начали предпринимать шаги. Одним из важных решений стало внедрение «рыночных предохранителей» или «прерывателей цепи». Это специальные программы, которые автоматически приостанавливают торги, если цены отклоняются от нормы слишком сильно. Идея в том, что события развиваются на интервалах, слишком коротких для реакции человека, поэтому необходимы заранее разработанные и автоматически исполняемые алгоритмы безопасности.
Но достаточно ли этого? Нам говорят: нужно повышать прозрачность, разрабатывать законы, требовать тестирования алгоритмов на предмет предвзятости. Нам нужно научиться кодифицировать наши основные правила этики, прежде чем машины станут умнее людей.
К сожалению, эволюционное давление рынка ускоряет развитие интеллекта, но он остается непрозрачным по нескольким причинам: это «черные ящики» (нейронные сети), невероятная скорость, сложность взаимодействия систем, а также коммерческая тайна самые успешные алгоритмы держатся в секрете.
Мы должны перестать фетишизировать технологии и начать проводить аудит алгоритмов. Нам нужно требовать прозрачности, чтобы пользователи понимали логику работы машин, особенно когда на кону стоят жизненно важные решения от выдачи кредита до медицинской диагностики.
История с Knight Capital показала: когда мы передаем системам слишком большие полномочия, мы добровольно отказываемся от информированного, компетентного понимания происходящего. Это не восстание машин, а скорее катастрофический сбой, вызванный тем, что мы наделили кремниевую систему слишком большой властью.
Готовы ли мы принять, что контроль над нашим будущим уже перешел от людей к коду, или пора научиться писать правила, которые машины не смогут игнорировать? Иначе мы рискуем в один прекрасный день обнаружить, что наш цифровой слуга уже не просто торгует акциями, а решает за нас, как должен выглядеть мир, и мы будем беспомощно стоять в стороне, наблюдая, как он реализует эту цель с «железобетонной логической стойкостью». Разве этого мы хотели?