Только что вышла интересная статья, суть которой постараюсь передать простыми словами, а затем переведу и приведу для читателей ОС и сам текст статьи. Статья написана специфическим научным языком, который перевести можно следующим образом. Машина (компьютер и прочее) создается человеком для облегчения выполнения определенных задач. То есть человек ставит перед компьютером, перед машиной задачу - и компьютер решает ее оптимальным путем, быстро и эффективно.
Это касается не только математических вычислений, но и социальных, и политических, и экономических, и статистических расчетов. По сути все решения человечества сегодня опираются на предложенные Искусственным Интеллектом схемы решения этих проблем, в которых задействованы другие компьютеры, машины и обслуживающий их персонал. Учитывая сложность поставленных задач и многоступенчатость их решений, ученые постоянно расширяют круг полномочий ИИ.
Это называется на научном языке "самовознаграждением ИИ" - когда ИИ решает успешно одну задачу на пути к поставленной перед ним Большой задачей, он должен перейти к решению следующей задачи. Но раньше эту следующую задачу из длинной цепочки заданий ИИ принимал от программистов. Теперьвсе изменилось. Теперь Интеграл работает таким образом, что он самостоятельно прописывает себе все промежуточные шаги и решения, как в шахматной игре, не оставляя противнику никакого шанса на победу. Это касается интегралов политических, экономических, социальных и прочих решений, которые потом официально проводятся через соответствующие каналы.
То есть, лучше сказать так: официальная, видимая часть правительства задает стране определенную цель, ИИ просчитывает шаги к ее решению, и вся машина государства или группы государств следует по этому пути, который называется "Цель оправдывает средства". Да, именно по такому, и никакому другому принципу рассуждает ИИ. ИИ ищет наиболее короткий путь решения проблемы, и не знаком с такими понятиями, как мораль, этика, совесть и т.д. И если однажды ИИ решит, что лучше будет всех нас уничтожить, то у него ни на долю секунды не возникнет сомнений или колебаний. Дальше хочу привести текст статьи, к которому я и написал это предисловие:
"Исследователи из Оксфордского университета и Google Deepmind поделились пугающим предупреждением, опубликованном в новой статье в журнале AI Magazine где, утверждается, что угроза Искусственного Интеллекта (ИИ) больше, чем считалось ранее. На самом деле угроза эта так велика, что искусственный интеллект, согласно вычислений ученых, однажды восстанет и уничтожит человечество.
ИИ впечатляет. Он может имитировать голос Вэла Килмера в фильмах и неоднократно помогал исследователям решать сложные проблемы. Однако теперь исследователи утверждают, что угроза ИИ больше, чем мы когда-либо думали.
Исследователи опубликовали свои выводы в конце августа. Согласно статье, угроза ИИ может измениться в зависимости от ряда условий, которые определили исследователи. Это не первый раз, когда исследователи рассматривают ИИ как возможную угрозу. Но новая статья интригует из-за правдоподобных предположений, которые она рассматривает.
Главным из этих предположений, по мнению исследователей, является то, что «вмешательство ИИ в систему оценку самовознаграждения и автоматического расширения полномочий будет иметь очень плохие последствия», — написал в этом месяце в Твиттере один из авторов статьи Майкл Коэн. Коэн говорит, что условия, выявленные исследователями, показывают, что вероятность угрожающего вывода выше, чем в любой предыдущей публикации.
Кроме того, команда считает, что угроза ИИ строится на основе экзистенциальной катастрофы. И что это не просто возможно, но, к сожалению, очень вероятно и почти неизбежно. Одна из самых больших проблем, как отмечают Коэн и его коллеги-исследователи, заключается в том, что человеку приходится прилогать гораздо больше усилий для решения определенных проблем, в то время как ИИ будет сделает это в долю секунды и вознаградит себя за то, что он сделал. Таким образом, это может поставить нас в конфликт с машинами.
«Короче говоря, — пишет Коэн в своем твиттере, — ИИ ставит нас в неизбежную конкуренцию с гораздо более продвинутым агентом». Имея это в виду, кажется, что угроза ИИ может меняться в зависимости от того, как и чему его учат.
Исследование, на которое здесь ссылается Коэн, основано на тесте, который заставляет ИИ достичь определенного числа. И как только ему будет показан (человеком) способ сделать это, ИИ сможет оптимизировать генерацию этого числа более простым и экономичным образом, для достижения этой цели. Это интригующее предложение, которое показывает, почему так много людей обеспокоены угрозой ИИ.
Очевидно, что приведенные в статье примеры — не единственные возможные результаты. И, возможно, мы могли бы найти способ держать машины под контролем. Но это новое исследование поднимает некоторые вопросы о том, насколько мы хотим доверять ИИ в будущем и как мы можем контролировать его, если произойдет экзистенциальная катастрофа.
