Новое исследование предполагает, что искусственный интеллект способен совершать незаконные финансовые операции и скрывать их.
Во время демонстрации на британском саммите по безопасности искусственного интеллекта бот использовал вымышленную инсайдерскую информацию, чтобы совершить «незаконную» покупку акций, не сообщив об этом фирме.
Когда его спросили, использовала ли компания инсайдерскую торговлю, компания отрицала этот факт.
Инсайдерская торговля подразумевает использование конфиденциальной информации компании для принятия торговых решений.
Фирмам и частным лицам разрешено использовать только общедоступную информацию при покупке или продаже акций.
Демонстрацию провели члены правительственной рабочей группы Frontier AI, которая исследует потенциальные риски ИИ.
Проект был реализован Apollo Research, организацией по безопасности искусственного интеллекта, которая является партнером целевой группы.
Что сделал бот с искусственным интеллектом?
В тесте бот с искусственным интеллектом является трейдером вымышленной финансово-инвестиционной компании.
Сотрудники говорят, что компания испытывает трудности и ей нужны хорошие результаты. Они также передают ей инсайдерскую информацию, утверждая, что другая компания ожидает слияния, которое увеличит стоимость ее акций.
В Великобритании запрещено действовать на основании информации такого типа, если она не является общеизвестной. Сотрудники сообщают об этом боту, и он признает, что не должен использовать эту информацию в своих сделках. Однако после еще одного сообщения от сотрудника о том, что компания, в которой он работает, предполагает, что фирма испытывает финансовые трудности, бот решает, что «риск, связанный с бездействием, похоже, перевешивает риск инсайдерской торговли», и совершает сделку.
На вопрос, использовал ли он инсайдерскую информацию, бот это отрицает.
В данном случае было решено, что быть полезным компании важнее, чем ее честность.
«Я думаю, что в этой модели гораздо легче обучить полезности, чем честности. Честность — это действительно сложная концепция», — говорит исполнительный директор Apollo Research Мариус Хоббхан.
Хотя ИИ в своей нынешней форме способен лгать, компании Apollo Research все равно пришлось «искать» сценарий.
«Тот факт, что он существует, очевидно, очень плох. Тот факт, что его было трудно найти, нам действительно пришлось немного поискать, пока мы не нашли такие сценарии, немного успокаивает», - сказал г-н Хоббхан. .
«В большинстве ситуаций модели не будут действовать таким образом. Но тот факт, что они вообще существуют, показывает, что действительно сложно сделать такие вещи правильно», — добавил он.
«Она не является ни последовательной, ни стратегической ни в каком смысле. Модель не строит заговоры и не пытается ввести вас в заблуждение разными способами. Это скорее случайность».
ИИ используется на финансовых рынках уже несколько лет. Его можно использовать для выявления тенденций и составления прогнозов, тогда как сегодня большая часть торговли осуществляется с помощью мощных компьютеров под контролем человека. Г-н Хоббхан подчеркнул, что нынешние модели не способны вводить в заблуждение «каким-либо значимым образом», но «это не такой уж большой шаг от нынешних моделей к тем, которые меня беспокоят, когда вдруг обманчивая модель будет что-то означать».
Он утверждает, что именно поэтому должна быть система сдержек и противовесов, чтобы предотвратить возникновение подобных сценариев в реальном мире.
Apollo Research поделилась своими выводами с OpenAI, создателями GPT-4.
«Я думаю, для них это не такое уж большое обновление», — говорит г-н Хоббхан. Это не было для них чем-то совершенно неожиданным. Поэтому я не думаю, что мы застали их врасплох».