Когда AlphaGo обыграл чемпиона мира Ли Седола, он не чувствовал удовлетворения, наоборот, еще меньше восторга.
Все это дает нам повод для оптимизма, когда мы смотрим на автоматизированные заводы и офисы будущего? Говоры о сотрудничестве между людьми и организациями обычно воспринимаются как "хорошие новости". Возможно, сотрудничество между людьми и компьютерами, нацеленными на достижение целей, возможно не только в принципе, но и - если это будет реализовано на практике - приносит удовлетворение вовлеченным людям, потому что они выиграют от участия в общем предприятии. Сможем ли мы поделиться с нашими "коллегами" по ИИ шутками за кофе, в шутках между соперничающими футбольными болельщиками, в спорах о новостных заголовках, в маленьких триумфах противостояния саркастическому или издевательскому боссу?
Нет - потому что у компьютеров нет собственных целей. Тот факт, что компьютер вообще следует за любыми целями, всегда можно объяснить ссылкой на цели какого-то человеческого агента. (Поэтому ответственность за действия систем ИИ лежит на их пользователях, производителях и/или продавцах, а не на самих системах). Кроме того, "цели", "приоритеты" и "ценности" программы ИИ не имеют значения для системы. Когда в 2016 году DeepMind's AlphaGo выиграла у чемпиона мира Ли Седола, она не испытывала никакого удовлетворения, наоборот, не испытывала восторга. А когда год спустя AlphaZero проиграла шахматную программу Stockfish 8 (несмотря на то, что AlphaZero не получала никаких данных или советов о том, как играют люди), она не была отягощена разочарованием или унижением. Гарри Каспаров, напротив, был опустошен, когда в 1997 году его обыграл в шахматы Deep Blue от IBM.
Так что, если бы вы преуспели в работе с какой-нибудь умной системой ИИ - как сегодня может Каспаров, как биологическая половина человеческого ИИ шахматного "кентавра" - вы не смогли бы отпраздновать этот успех вместе. Невозможно было даже поделиться мелкими радостями, волнениями и разочарованиями на этом пути. Вы бы пили шампанское в одиночестве. У вас была бы работа - но вы бы пропустили удовлетворение от работы.
Более того, нет смысла представлять, что у будущего ИИ могут быть потребности. Им не нужны ни общность, ни уважение, чтобы хорошо работать. Программа либо работает, либо нет. Ибо потребности присущи, а их удовлетворение необходимо для автономно существующих систем - то есть для живых организмов. Их нельзя разумно приписать артефактам.
Некоторые ИИ-ученые с этим не согласны. Например, Стив Омохундро (Steve Omohundro) утверждает, что любая сложная система ИИ будет разрабатывать "драйвы" - например, сопротивляться отключению, пытаться делать копии себя и пытаться получить контроль над ресурсами, независимо от того, какие другие системы (живые или неживые) могут быть повреждены таким образом. Они, по его словам, не должны были бы быть запрограммированы. Они будут развиваться "из-за внутренней природы систем, ориентированных на достижение целей": любая такая система будет "высоко мотивирована" к поиску путей самосовершенствования, которые позволят более эффективно достигать ее целей. Такие движущие силы (потенциально катастрофические для человечества) неизбежно будут развиваться, если будущие системы ИИ не будут "тщательно разработаны [нами], чтобы предотвратить их вредное поведение".
Однако, аргумент Омохундро заставляет задуматься над этим вопросом. Он предполагает, что (некоторые) системы ИИ могут быть "высоко мотивированы", что они могут заботиться о своем собственном сохранении и о достижении своих различных целей. Действительно, он считает само собой разумеющимся, что у них могут быть цели, в том же (заботливом) смысле, что и у нас.
Но вышеприведенная дискуссия о связи между потребностями и целями усиливает утверждение о том, что компьютеры - которые не могут иметь потребностей (и материальное существование которых не регулируется FEP) - тоже не могут иметь целей. Поскольку стремление (или активный поиск) является существенным для концепции потребности, и все наши намерения подкрепляются нашими потребностями, человеческие цели всегда предполагают некоторую степень заботы. Вот почему их достижение по своей природе приносит удовлетворение. Напротив, "цели" компьютера, напротив, пусты. Программа планирования ИИ, независимо от того, как бы она ни собирала нитку, в буквальном смысле слова беззаботна.
Точно так же, даже самый "дружелюбный" ИИ по своей природе не имеет ценности. Когда команды ИИ говорят о согласовании "ценностей" своей программы с нашей, их не следует воспринимать как говорящих буквально. Это хорошие новости, учитывая все более распространенный страх, что "роботы захватят власть!" Правда в том, что они точно не захотят.