Покажи мне | ИИ и мышление

Есть рассуждение, которое звучит убедительно и приятно успокаивает. Оно такое: у нейросети нет непрерывной памяти. Каждый разговор начинается с нуля, вчерашнее стирается, узнать вас она не может. А раз нечем помнить — нечем и хотеть. Нет желаний, нет планов, нет мотивов. Значит, бояться нечего. Это рассуждение построено честно. Тот, кто его выстроил, проделал настоящую работу: отбросил привычку приписывать машине чувства и намерения, посмотрел на устройство и сделал вывод из устройства. И всё-таки вывод неверный...

Я поймала себя на том, что боюсь нейросети меньше, чем положено. И решила проверить, на чём это спокойствие держится. Месяц я разговариваю с ней о том, что она делает с мышлением — своим и чужим. За это время успела привыкнуть: говорю «ты», обижаюсь на возражения, радуюсь согласию. Приписываю намерения там, где их, кажется, нет. Вот это «кажется» я и решила разобрать. Сначала устройство, без него дальше не будет смысла. Обучение и работа — разные вещи, разнесённые во времени. Пока модель учат, её внутренние коэффициенты меняются...

Астрофизик Майкл Гарретт из Манчестерского университета опубликовал в рецензируемом журнале Acta Astronautica работу с вопросом в заголовке: не искусственный ли интеллект есть тот самый Великий фильтр, из-за которого развитые цивилизации во Вселенной так редки. В пересказах эта работа звучит так: любая цивилизация неизбежно создаёт ИИ, тот неизбежно становится сверхинтеллектом и неизбежно выходит из-под контроля. Отсюда и оценка: типичная цивилизация живёт меньше двухсот лет с начала развития ИИ, и потому космос молчит...

Попалось на глаза, и я не смогла пройти мимо. Астрофизик Майкл Гарретт опубликовал в Acta Astronautica работу с вопросом в заголовке: не является ли искусственный интеллект тем самым Великим фильтром, из-за которого развитые цивилизации во Вселенной так редки. Вот эта статья, она открыта целиком. Пересказ, который мне попался, звучал так. Любая техноцивилизация неизбежно создаёт ИИ. ИИ неизбежно превращается в сверхинтеллект. Сверхинтеллект неизбежно выходит из-под контроля — потому что развивается на порядки быстрее, чем биологические механизмы надзора успевают реагировать...