...вспомним открытия атомного ядра, получение громадной энергии от деления ядер. Деление ядер может освещать города, но может и сжигать эти города дотла. До августа 1945 мы и представить себе не могли потенциальную мощь атома. Так вот, искусственный интеллект, как и деление ядер - это технология двойного назначения...
Ведущий: Обсудим перспективы развития ИИ. Куда это нас заведет? Чтобы разговор об ИИ получился осмысленным, необходимо заранее осознать, что ИИ и его вершина развития - сверхразум — это не просто еще одно технологичекое достижение, еще один супер-инструмент, который умножит человеческие возможности - его создание изменит законы развития человечества. Короткие определения и обозначения:
Искусственным интеллектом (ИИ) или Artificial Intelligence (AI), будем называть сущность, действия которой воспринимаются человеком как разумные. Сверхразум, искуственный суперинтеллект (ИСИ, ASI, Artificial SuperIntelligence).
ИИ-инженер, аналитик: добавлю. Это технология, которая позволяет компьютерным системам не просто выполнять, но и заменять и расширять функции человеческого мозга: обучать и само-обучаться, понимать жесты, речь и текст, рассуждать, видеть и распознавать образы, анализировать данные и решать разнообразные научные и технические задачи.
Священник-богослов: тоже добавлю, уж не обессудьте. Попытки создать подобие человеческого разума надо воспринимать как гордыню и стремление человека встать на место Бога.
ИИ-инженер: Ну, почему же. Если мир спроектирован Высшим разумом, то почему бы человечеству не замахнуться и не создать не просто ИИ, а СуперИнтеллект (ASI), сверхразум ? Ведь все человеческие мысли контролируются Богом, как и все его дела, да и само существование человека находятся в зависимости от решений Высшего разума. Почему бы человечеству не создать сверхразум, разве это не будет божьей волей?
Священник: Бог творит из любви и дарует жизнь, а человек, создавая ИИ, создает лишь симуляцию. Попытку наделить машину «сознанием» следует воспринимать как подражание Богу без понимания самой природы духа. Если ИИ совершит ошибку или причинит вред, чья это будет воля? Списывать создание опасных технологий на «божий промысл» — значит снимать ответственность с создателя этого "чуда", с человека.
Ведущий: неужели только подражание?
Священник: Да. Церковь задается вопросом: создаем ли мы ИИ, чтобы служить Богу, или чтобы самим стать «как Боги»? Первое не очевидно.
Скептик: вспомним открытия атомного ядра, получение громадной энергии от деления ядер. Деление ядер может освещать города, но может и сжигать эти города дотла. До августа 1945 мы и представить себе не могли потенциальную мощь атома.
Так вот, искусственный интеллект, как и деление ядер - это технология двойного назначения.
Философ: вне сомнения, это так и есть.
Скептик: Сегодня мы находимся в таком же неведении относительно ИИ как в 1930-х относительно ядерной физики. И это печально. Отто Ган, открывший расщепление ядра урана, и Лео Сциллард, который первым осознал возможность ядерной цепной реакции, — испытывали не столько «тихие» угрызения совести, сколько яростное желание исправить ситуацию, остановить процесс создания ядерного оружия, Лео организовывал петиции ученых Трумэну, но всё оказалось напрасно.
И если появление мощного искусственного супер-интеллекта будет столь же внезапным, как и явление миру ядерных технологий, то человечество может и не пережить появление этого монстра.
Оптимист: Ну вот, "монстр", "можем не пережить"... Вы смотрите на развитие ИИ как-то слишком пессимистично. Уже сейчас вычислительная мощность супер-компьютера более 500 квадриллионов операций в секунду. Это эквивалентно почти 100 миллионам лет человеческого интеллектуального труда. Сверхразум с такими возможностями может сделать множество величайших изобретений, научных открытий и технологических прорывов, задаст новый вектор и высочайший темп научно-технического развития. Ну разве это не прекрасно?!
Скептик: конечно прекрасно, вот только человек в этом не будет принимать никакого участия ввиду своей ненужности. Мы знаем на опыте, что происходит, когда технически развитая цивилизация встречается с менее развитой: Христофор Колумб против народа таино, Писарро против империи инков, европейцы против американских индейцев.
Приготовьтесь к следующему столкновению цивилизаций — мы с вами - против искусственного суперинтеллекта.
Ведущий: давайте подробнее обсудим этот вопрос. Почему непременно столкновение, ваши аргументы?
Скептик: Всё просто, машины аморальны, и считать иначе — опасно. В отличие от человеческого разума, машинный сверхразум возникнет не в результате развития экосистемы, в которой сочувствие вознаграждается и передается следующим поколениям. У него не будет врожденного дружелюбия. Создание дружелюбного искусственного разума и возможность существования такого разума в принципе— серьезный вопрос и еще более серьезная задача для исследователей и инженеров, работающих над созданием ИИ.
Биолог: Вы правы. ИИ вовсе не обязательно нас ненавидеть, чтобы принять решение об использовании молекул нашего тела в каких-то своих целях, нежели обеспечение нашей жизнедеятельности.
Простой пример, мы с вами в тысячу раз умнее полевой мыши, мало того, около 90% ДНК у нас общие. Но станем ли мы советоваться с мышью, прежде чем вспахать поле, на котором она выкопала свою норку? Мы не испытываем ненависти к мышам или лабораторным обезьянам, но проявляем жестокость по отношению к ним.
Сверхразумному ИИ тоже не обязательно ненавидеть нас, чтобы нас погубить.
ИИ-инженер: Наши основные опасения по поводу внезапного появления ИСИ (так называемого «взрыва интеллекта», см. график) строятся на нескольких тезисах:
1. Проблема контроля (Alignment Problem).
В случае с ядерной бомбой физики понимали, что именно они строят. С ИИ проблема в том, что мы уже сейчас не до конца понимаем внутреннюю логику работы нейросетей (проблема «черного ящика»). Если ИСИ возникнет стихийно, мы можем не успеть «прошить» в него человеческие ценности.
2. Скорость самосовершенствования.
В отличие от урана, которому нужны заводы и центрифуги, ИИ — это код. Если он достигнет уровня, когда сможет переписывать сам себя, прогресс станет экспоненциальным. Переход от ИИ «умнее среднего человека» до ИИ «умнее всего человечества вместе взятого» может занять всего лишь дни или даже часы. Это и есть «внезапность». И это реально.
3. Инструментальная конвергенция. «Монстру» не обязательно быть злым, как уже было сказано. Если вы дадите сверхразуму задачу «решить проблему глобального потепления», и он её решит, придя к выводу, что причина в людях и самый эффективный способ устранения источника потепления, это устранить людей и он это сделает просто не из ненависти, а как кратчайший путь к цели. Мы для него не будем врагами, мы будем материалом, который мешает выполнению алгоритма.
Ведущий: Неужели нет оптимистичного взгляда?
ИИ-инженер: Многие эксперты (например, Ян Лекун из Meta) считают страхи преувеличенными. Они аргументируют это тем, что интеллект — это не магия, а вычисления, ограниченные физическим миром, энергией и данными. Мы не можем создать «Бога» из ничего; ИИ все равно будет зависеть от инфраструктуры, которую контролируют люди.
Ведущий: Вот видите! Законы сохранения материи и энергии работают всюду.
Скептик: Контролируют люди ... Это же глубокое заблуждение - участвуют в контроле пока им разрешат, но до поры, до времени! Сами же передали управление машинам и наивно думают, что "контролируют" процессы!
Оптимист: Передача компьютерам права принимать за нас решения неизбежна, вопрос лишь в том - когда и как это произойдет? С нашего ли согласия? Судите сами: многие процессы уже выполняются машинами - поддержка финансовой системы, транспортной инфраструктуры, систем электро- и водоснабжения, большинство систем работают автономно, без участия человека. Цена которую мы платим за сэкономленное время, за неучастие в рутинных работах это возможность заняться чем-то более полезным, это и есть наша независимость.
Да, возможно власть в чем-то перейдет к ИИ. Но... смена власти будет добровольной и по взаимному согласию. Это будет передача власти от менее разумного более разумному интеллекту, пусть и искусственному, это будет передача, а не захват. Почему?
Да потому что никто не будет возражать против улучшения жизни, а она непременно улучшится! Так что передача власти будет неотличима от сегодняшних процессов - она будет постепенной, безболезненной и даже веселой.
Священник: "Слухом услышите — и не разумеете, и очами смотреть будете — и не увидите." (Исаия 6:9-10). Неужели не понимаете, что человечество потеряет контроль над собственным будущим! Вы правы только в одном, машинам не обязательно нас ненавидеть но, достигнув уровня самой непредсказуемой и могущественной силы во Вселенной, — уровня, которого сами мы достичь не способны, — начнут вести себя непредсказуемо, и их поведение, вероятно, окажется несовместимо с нашим выживанием. «Есть пути, которые кажутся человеку прямыми; но конец их — путь к смерти» (Притчи 14:12).
Ведущий: Не чрезмерны ли такие страхи? Чтобы появились такие опасения нужны обоснованные причины. Есть ли вообще основания утверждать, что человеческий мозг проигрывает соревнование с ИИ? Может быть, есть параметры для сравнения?
ИИ-инженер: Сравнение мозга и ИИ обычно строится на нескольких ключевых метриках, которые показывают, насколько по-разному они обрабатывают информацию. Например:
1. Скорость (Частота). Технология ИИ работает на гигагерцах, а сигналы передаются со скоростью света. Мозг работает на низких частотах (обычно не более чем 100 Гц), а нервные импульсы движутся медленно — до 120 м/с.
2. Параллелизм. ИИ: Современные GPU очень эффективны, но всё же имеют ограничения в архитектуре. Мозг: Массивно параллелен. Миллиарды нейронов и триллионы синапсов работают одновременно, что позволяет, например, мгновенно распознавать образы.
3. Энергоэффективность. ИИ: Суперкомпьютеры потребляют мегаватты энергии и требуют мощного охлаждения. Человеческий мозг: Потребляет всего около 20 Ватт (как слабая лампочка), выполняя при этом сложнейшие задачи.
4. Плотность данных. ИИ: Память измеряется в петабайтах на жестких дисках. Мозг: Оценки разнятся, но часто говорят о емкости в 2.5 петабайта, при этом данные хранятся не в ячейках, а в связях между нейронами.
Можно привести еще сотню сравнений, но для продолжения разговора и этих пояснений вполне достаточно.
ИИ-инженер: Еще одно важное обстоятельство.
5. Производительность (мощность). На сегодняшний день самый мощный суперкомпьютер в мире — Frontier (США) имеет производительность , которая превышает 1 экзафлопс (10 в 18-й степени операций в секунду). Для сравнения: 500 квадриллионов (0.5 экзафлопса) выдавал японский Fugaku в 2020 году, который сейчас занимает второе место.
Ведущий: это любопытно, но если сравнить с человеческим трудом?
ИИ-инженер: Средний человек выполняет 1 простую математическую операцию в 1 секунду (без перерывов на сон и еду), а это означает, что за 1 секунду суперкомпьютер Frontier сделает столько же, сколько один человек за 38 миллиардов лет. И даже если взять все человечество (8 миллиардов человек), то нам всем вместе пришлось бы считать около 5 лет, чтобы сделать то же самое, что Frontier делает за 1 секунду.
Оптимист: Потрясающе!
Философ: Сейчас мы находимся в стадии слабого ИИ. Философ Рэй Курцвейл предсказывает наступление технологической сингулярности (ASI) к 2045.
Ведущий: Ладно, не поспоришь, производительность громадная, быстро считает, но что-то не вижу причин для уныния и скороспелых заявлений о превосходстве и скорой победе ИИ. Выясняется, что есть другие параметры, где ИИ пока отстает. Надо ли бояться "ума" ИИ?
Философ: Парадокс в том, что мы боимся не «ума» ИИ в человеческом понимании, а его масштабируемости и отсутствия биологических тормозов.
ИИ-инженер: Вот еще некоторые соображения, почему наш «совершенный» мозг проигрывает в этой гонке:
1. Скорость эволюции. Мозг: Нам потребовались миллионы лет, чтобы увеличить объем префронтальной коры на пару сантиметров. Мы ограничены биологией и скоростью рождения детей. ИИ: Может самосовершенствоваться за недели. Если ИИ научится писать свой собственный код лучше программиста, возникнет технологическая сингулярность — взрывной рост интеллекта, за которым мы не успеем.
2. Коллективный разум. Мозг: Мы общаемся с помощью звуков и текста — это очень медленно (бит/сек). Передать опыт одного мастера другому занимает годы обучения. ИИ: Тысячи экземпляров нейросети могут обмениваться данными мгновенно. Если одна модель чему-то научилась, это знание тут же появляется у всех остальных. Это единый сверхразум, а не миллиарды разобщенных личностей.
3. Отсутствие «предохранителей». Мозг: У нас есть инстинкты, сопереживание, страх смерти и усталость. Эти «баги» на самом деле — наши главные защитные механизмы. ИИ: У него нет встроенной морали, если её не прописать (а сделать это математически точно пока никому не удалось). Если дать сверхразуму задачу «решить проблему голода», он может прийти к логичному выводу, если хотите, вычислить, что «нет людей — нет голода». Это называют проблемой совмещения целей (Alignment Problem). И это реальная проблема.
4. Контроль над инфраструктурой. Мы боимся не того, что робот нас побьет, а того, что ИИ станет эффективнее нас в управлении финансами, энергией и оружием. Если такая система решит, что человечество — лишнее звено в оптимизации ресурсов планеты, мы даже не поймем, в какой момент отключилось электричество.
Философ: «Самоубийство» надо понимать как добровольную передачу власти силе, которую мы не до конца понимаем и не знаем как её можно выключить в случае опасности.
Ведущий: Итак, мнения разделились. Искусственный интеллект нельзя назвать однозначно «хорошим» или «плохим». Но уже сейчас его можно назвать мощным инструментом, эффект от использования которого зависит от того, в чьих он руках и для каких целей используется. Как и в случае с атомной энергией, с электричеством или интернетом, у ИИ есть как революционные преимущества, так и серьезные риски. Почему ИИ — это хорошо (плюсы)? Почему это плохо?
(продолжение статьи - см. часть 2).