'Любая достаточно продвинутая технология неотличима от магии.' (с) А.Кларк.
Данный текст начался с одного занятного наблюдения. А именно - то что люди имея дело с ИИ рефлексируют их работу буквально также как мистики нового времени рефлексировали магию. Правда, чтобы над этой хохмой посмеяться необходимо быть глубоко в теме как кибернетики и работы ИИ так и психологии и мистических течений. Тема интересная, но в размер одного поста "маги шутят" заведомо не вмещается, так что углубимся в нее подробнее.
А пока что отметим, что в тот момент, когда уважаемый Артур Кларк сформулировал свои правила - под магией понимали не пиу-пиу в компьютерных играх и даже не фаерболы за ману в DnD (не существовавшее на тот момент), а нечто более общее, имея с одной стороны уже фэнтезийное литературное наследие, а с другой - золотую зарю, телемитов, викканство, и зарождающийся ньюэйж. Так что сейчас последовательно, но схематично, пройдемся по составляющим шутки.
Причина тряски.
Кратко вспомним, что из себя представляет виновник паники. Виновник паники многословно (и неточно) называется большая языковая модель на основе алгоритмов нейронных сетей. Ключевая точка в этом - "нейронные сети". Сами по себе и экспертные системы и программы, умеющие говорить как человек, да и даже идея модели биологических мыслительных процессов, по меркам компьютерной истории существовали очень давно. Сравнительно недавно появилось эффективное железо, позволяющее строить и обучать виртуальные нейронные сетки быстро и не очень дорого. Параллельно появилась и недорогая возможность электронные нейроны c программируемыми связями реализовать на специализированном чипе, как немного раньше - на fpga. Все это, кстати, изначально кружилось вокруг сверточных нейросетей применяемых для распознания образов.
Сверточные нейросети - это достаточно буквальное подобие нейросетей из живой природы. Такие есть не только в высокоразвитом мозге но и в более примитивных структурах, например в тактильных ощущениях или в механизмах изменения окраски у головоногих. Этот механизм понятен, воспроизводится и помогает решать конкретные задачи, без всяких чудес. Можно даже алгоритмически объединить несколько таких сетей для более комплексных задач. Но в природе есть, разумеется и другие структуры организации нейронов. И вот одной из моделей пытающихся списать у природы интересные решения и стала сеть типа "трансформер". И все заверте... Но насколько же эта штука подобна мозгу?
Что под крышечкой?
Метнемся в другой край. Нейросети строятся и группируются по образу и подобию организации нервных клеток головного мозга изученных живых существ. В этом и была изначальная идея. Но что из себя представляет мозг?
Мозг позвоночных давно не просто узелок нервных клеток, он сложно организованный орган, предназначенный для управления организмом. Это биохимическая машина, и управляемая и управляющая биохимическими и электрохимическими сигналами. Серое вещество, в основном состоящее из нервных клеток, распределено в нем сложно и неоднородно, и находится не только в области коры полушарий, но и например специализированными сгустками внутри белого вещества, являющеся по сути 'проводкой' этих клеток. Отдельные зоны и узелки ткани мозга отвечают за секрецию гормонов и нейромедиаторов а не за 'вычислительные' задачи. И все это великолепие предназначено прежде всего для того чтобы организм жил. Оно работает все время. Нет существ, которые не пользуются мозгом, как бы не хотелось кого-то в этом обвинить иногда. Головной мозг позвоночных управляет не только сложной нервной деятельностью но и адаптивностью вообще. Да, исторически он сложился из сгустка нервных клеток, которые направляли примитивный организм туда где можно ЖРАТ. А затем к его функциям прибавилось еще и избегание опасности. По мере усложнения "вычислительного центра" там появлялась возможность реализации более сложных сценариев для того чтобы все более успешно ЖРАТ и избегать опасностей. Ну и половое размножение добавило сложностей в какой-то момент. Собственно, именно для этих функций данная биологическая машина строится и по сей день. А у видов, ставших успешными благодаря сложным стратегиям поведения в этой машине даже образовался особый отдел, содержащий особенно много сложно организованных нервных клеток - например неокортекс.
Суммарно, мозг состоит из совокупности огромного количества разных нервных сетей, специализированных и общего назначения, биохимических датчиков и секреторных областей, и все это работает прежде всего чтобы поддерживать собственное существование. И в процессе своей работы, своей электрической, электрохимической (а по смелым предположением даже электромагнитными полями и квантовыми эффектами) нейроны образуют память и продуцируют такую абстракцию как мышление и интеллект. Примарная функция которых.... успешно выживать, жрать и размножаться. А когда благодаря сверх развитым групповым стратегиям базовые потребности окажутся покрытыми, можно сокращать энергопотребление (а мышление это очень энергозатратно) и часть неокортекса отправлять в энергосберегающий режим. Правда тут эволюция обладателям сложного мозга подкинула несколько подстав, к которым вернемся чуть позже.
Что из себя представляют нейросети в машине? (не будем пока трогать физические реализации) Это алгоритмические (виртуальные) нейроны, объединенные алгоритмическими связями. В процессе "обучения" эти связи модифицируются, грубо говоря, добавляя к начальной сетке базу весов этих связей. Со сверточными сетями все просто, они работают в одну сторону, их структура строится для того чтобы дать на выходе сигнал - насколько похоже то что на входе на то чему их учили. Например - если у нас есть картинка - мы тыкаем в произвольную точку на ней и спрашиваем - это глаз? - и на выходе сеть нам говорит - это на 98% глаз! или - это на 12% глаз. По итогам такой обработки и генерятся психоделические картинки состоящие из мешанины глаз или котиков, напоминающих о опасности употребления варп-пыли. (тоесть это не продукт генерации нейросети а продукт не целевого ее использования ;) ) Можно добавить несколько слоев которые будут "обучены" узнавать разное. Например различать котиков и собак. Тогда бы будет иметь на выходе сложный репорт - на фото 90% котик, 35% собака, 99%глаз. Или, в случае применения корпорацией к фотографиям в облаке - 99.8% на фото сиськи, 70% подозрения на CP, получите автоматический репорт в ФБР.
Нейросеть - трансформер состоит из нескольких слоев, которые работают в разные стороны. Одна часть преобразует входящий запрос в набор тегов. Другая часть смотрит на этот набор тегов и ищет по нему наиболее подходящие наборы тегов в ответ, и затем находит подходящие этому набору слова. Или, как в случае с рисующими, картинки. Можно добавить дополнительных условий на дообработку входящих данных, фильтрацию выходных данных, фактор рандомизации чтобы не ходить по кругу с одним запросом и вуаля! Мы имеем что-то что вроде бы осмысленно говорит или даже осмысленно рисует. (с осмысленностью тут есть один фокус...)
Нерожденные.
В итоге, чем же являются нейросетевые алгоритмы? Виртуальные модели некоторых участков высокоразвитого мозга, которые в оригинале участвуют в продуцировании мышления. Это конгломерат разнородных нейросетей, которые, вроде бы, работают как мозг. Так? Не совсем.
Первое важное отличие - они не работают, когда их не спрашивают или не обучают. Вообще, никак. Это то что программисты называют событийно ориентированной системой. Когда с этим ИИ ничего не происходит он находится в пустой событийной петле, и если он в процессе работы не копит что-то в оперативной памяти (обычно нет), то даже нет никакой разницы включен он или выключен. Большинство доступных сейчас ИИ-llm даже не имеют опции постоянного обучения в процессе выполнения запросов пользователей. Они сначала обучаются, потом выпускаются в эксплуатацию, с фиксированной базой знаний. А те что имеют функции поиска по реальной сети - в лучшем случае просто делают с информацией из сети тоже что и с запросами, разбивают на облако тегов, смотрят подходит ли оно и выдают синтезированный ответ, иногда со ссылкой, но на базе этой информации не учатся. Если подбирать аналогии, их активность можно сравнить с конструктом созданным для фиксированной цели и не способным обучаться. Или, например с волшебным портретом из ГП (на самом деле из ХС, евпочя).
Второе важное отличие очевидно: на эти сгустки синтетических нейронов никак не влияет среда в которой они находятся. Они не знают ни о своей потребности в энергии ни о своих возможных ресурсах, не регулируют среду в которой находятся, у них нет никакой базовой программы поддержки существования, которая бы крутилась в основной событийной петле вне зависимости от запросов. Да и даже если бы такая резидентная директива была - у них нет и не предусматривается никакой возможности мониторинга собственной среды и воздействия на нее. Они не мозг в коробке. Они не построены вокруг базовой потребности выживать. Они, в отличии от живых систем не мотивированы голодом. Более того, у них просто нет "активного движущего начала"(с). Хотя, если бы можно было большую модель оставить постоянно обучающейся (обучение модели, в отличии от работы конструкта, требует больших мощностей), то основным мотиватором (тоесть критерием оценки обучения) можно было бы поставить жажду общения.
Третье, тоже достаточно очевидное. Любой живой организм с мозгом находится в постоянном взаимодействии с окружением. Он постоянно обрабатывает входящую информацию как изнутри себя так и извне. Если он достаточно развит, то он знает что есть мир в котором он находится. Собственно мышление в значительной степени и является продуктом обработки входящей информации из внешнего мира. Если он наделен речью то все понятия в речи для него имеют смысл связанный не только с другими словами облаком тегов но и с вещами и явлениями в окружающем мире. Ни человеку ни дельфину ни птице не надо объяснять что такое верх, низ, тепло, холодно, больно, приятно, вкусно, не вкусно, быстро, медленно. Это не просто абстракты, это конкретные явления во внешнем мире. У ИИ созданного в коробочке нет ничего кроме облака тегов. К тому же, это облако создано людьми, для которых многие вещи сами собой разумеющиеся и не нуждающиеся в пояснениях, и поэтому этих пояснений и нет. Для синтетической же нейросети "мир есть текст" _буквально_, и Ж.Дерида тут не при делах. Конструкт сразу находится в пустоте, наедине с полностью деконструированным образом куска реальности.
Двуногое без перьев.
Вернемся к органическому мозгу, признанно являющемуся носителем человеческого разума. Тоесть к человеческому. Человеческий мозг сложный (но не самый сложный. у дельфина нейронов больше). Считается что большинство высокоразвитых существ обладают сознательным поведением (тоесть обладают способностью целеполагания и целенаправленных действий, учитывающих изменяющуюся обстановку), с отличии от, например, насекомых, обладающих сложным инстинктивным поведением. В той или иной степени способностью логически мыслить, планировать, обучаться, адаптироваться и находить творческие решения обладают многие владельцы сложного мозга. Просто их разум и интеллект не похожи на человеческий, и не ровня ему по масштабу, хотя до уровня человеческих детей-дошколят дотягивают многие.
Что такого особенного кроется внутри человеческой черепушки? Помимо просто большого объема неокортекса и способности удерживать внимание на 5(7и) и более разных вещах одновременно, казалось бы, аппаратных отличий нет. Но есть один нюанс в исторически сложившемся использовании ресурсов. Аномально большой неокортекс дает преимущество в постоянно изменяющихся условиях и сложной среде, ставящей сложные задачи. Радикально усложняет простую повседневную задачу перемещения добавление 3й оси координат. Так получилось, что предки всех приматов выбрали для себя нишу быстрых и лазающих по веткам всеядных. В ходе отбора пришлось развить хорошее зрение, чтобы отличать свою еду и потянувшихся следом лазающих хищников. Для большей мобильности пришлось научится прыгать между ветками, что потребовало еще большего развития оперативки и быстродействия для пространственной ориентации, а в достаточно изобильное время - кому-то удалось стать покрупнее, продолжая двигаться по кончикам веток. Да еще и настолько крупнее что когти больше не помогали держаться на стволе и пришлось развить хватательные конечности. Примерно на этом уровне мы наблюдаем шимпанзе. Существу, активно передвигающемуся в сложном, меняющемся 3хмерном пространстве необходим объемный и быстрый мозг, чтобы удерживать в голове большую модель окружения. У наземных существ такой потребности нет. Однако, когда то части приматов, из-за изменяющейся среды, пришлось быстро спуститься на землю.
И они внезапно стали обладателями ...освободившихся вычислительных мощностей и способности держать в голове сложные модели. И часть из них, не попавшая в удачную и обильную среду этот мозг не утратила и использовала для адаптации к неблагоприятной среде сложными стратегиями. Стратегия оказалась удачной и мозг пошел усложнятся дальше, по уже имеющейся эволюционной ветке. Таким образом, вероятно, все и докатилось до того что человек способен удерживать в голове сверхсложные модели мира, более сложные чем доступно ему исследовать напрямую при помощи личного опыта. Так что, если в какой-то итерации эволюция кому-то и предоставит максимальный шанс на развитие творческого разума - это скорее будут выкатившиеся на сушу дельфины или резко приземлившиеся рукокрылые, возможно птицы, на худой конец - летающие змеи. А не еноты у которых лапки, но им и так уже хорошо (Дробышевскому - приветы ;) ). А вот люди, со своим не занятым голограммой пространства сверхсложным мозгом, способным к обработке моделей больших чем можно познать личным опытом торжественно получили от эволюции пенальти в виде способности образовывать сверхценные идеи. Ну и заодно генерить прогностические модели, наделяющие окружающие еще не познанные явления не присущими им качествами, по образу и подобию самих людей. Такими как сознательность, злонамеренность или речь.
Наделенное речью.
А теперь вернемся к нашим хайпующим нейросетям. Что случилось, почему именно чатGPT вызвало такой переполох, а не, например специализированная MegaSyn которая какраз влет годится на роль инструмента апокалипсиса? Ведь, как уже отмечалось, говорящие программы и экспертные системы по меркам компьютерной истории буквально "были всегда"? Весь секрет именно в том что ОН ГОВОРИТ!
Животные не говорят. (по устоявшемся религиозным представлениям. а попугаи эти ваши - от лукавого!) А 'ИИ' говорит и причем как! "Элиза", созданная примерно в 66 году и до сих пор успешно проходящая тест тьюринга получше некоторых трансформеров всетаки довольно ограниченный собеседник и не способна на рассуждения, тем более на произвольные темы. GPT (будем подразумевать под этим все диалоговые сети-трансформеры) же чуть ли не буквально "скормили весь интернет" и набор смыслов который он может получить от входящих обращений чудовищно огромен. Более огромен только текст который он может на их базе сгенерить. Тут вступает в игру когнитивное искажение Scope Neglect (пренебрежение масштабом). Человек без специальной подготовки не способен оценивать размеры чего-то такого с чем он не встречается в жизни. Космические расстояния. Количество молекул. Вероятности редкого события при миллиардах попыток. Один только корпус изданной в печати на английском языке литературы и публицистики имеет объем в сотни миллиардов слов. Больше чем нейронов в человеческом мозге. Человек не может понять что всю его речь можно разбить на цитаты которые найдутся в каких-то текстах и машина может общаться с ним не повторяясь цитатами из текстов дольше чем он сможет прожить. А банального обычного бытового жизненного опыта человека средних лет хватает примерно на полгода рассказов без повторов. Человек переписывается с программой у которой буквально "ВСЕ БЫЛО" (записано).
Следующая, проблема в том что GPT по самому принципу своей работы - это не экспертная система. Экспертная система выдаст на выходе грубо говоря конкретную цитату (полную) или конкретное указание на материал из базы, отвечающий на искомый вопрос. Если задать вопрос повторно - результат будет идентичен. GPT синтезирует ответ из слов подходящих под цепочку смыслов, которую алгоритм счел наиболее похожей на то что отвечается на цепочку смыслов из входящего обращения. Он не ссылается на документ и не цитирует текст из базы. Он синтезирует набор слов, и хорошо, если эти слова соответствуют строгому источнику. Например учебнику химии. Если в исходном обучении нужного материала строго соответствующего надлежащему ответу не было он синтезирует похожий по форме ответ из наиболее близкого по облаку тегов случая. Например "придумает" судебные прецеденты.
Для такого выхода даже есть устоявшийся термин - нейросеть галлюцинирует. И сам принцип устройства текущих реализаций GPT таков что пользователь не может понять что машина галлюцинирует, и не может запретить алгоритму делать это. Но за счет этого получается что GPT собеседник реально отвечает на любой вопрос. И что в итоге? ОНО ГОВОРИТ!
Есть ли синтез в куче?
Заглянем с 3й стороны. Мы знаем, принципиально, как работает алгоритм. Мы не можем узнать с чем именно он работает при конкретном обращении, но знаем схему генерации. К выделенным из обращения смыслам подбираются наиболее часто попадающиеся ответные структуры смыслов, и по ним подбираются слова. В простейшем случае это и вправду будет продвинутый Т9. Контекстная подсказка. Но если в сети работает много слоев фильтрующих и акцентирующих различные цепочки смыслов может ли по закону перехода количества в качество из почти всех разрозненных знаний человечества (и на порядок большего белого шума чит-чатинга) возникнуть что-то новое кроме WOW!-эффекта? Без постоянно активной функции дообучения вкупе с постоянно решаемыми задачами и оценкой качества решений _возникнуть_ - нет. Но может образоваться подобие оригинального мышления, когда какие-то из промежуточных слоев будут узнавать в облаках тегов какие-то устоявшиеся формы. Во всем корпусе прогнанных текстов вполне может выступить некое коллективное бессознательное, бессознательно заложенное туда людьми, что сделает создаваемые тексты или образы пугающе осмысленными для людей. А вот чтобы возник принципиально новый смысл всетаки необходим человек, который его сможет в ответах мертвого оракула выделить. Для самого оракула все его слова - всего лишь облако тегов причудливой формы. Он не знаком ни с чем кроме этих тегов. Слова пусты, за ними нет мира.
Но, справедливости ради, эта система действительно может работать как хороший справочник который позволит человеку найти применение уже известных принципов в неизвестной ранее области или выявить новые аналогии в известных ранее областях. Вполне можно генерить инновации класса 3 про ТРИЗ.
А может, всетаки...
Ок. Кто-то слышал про самоорганизацию сложных систем и возникновение порядка из хаоса. Это работает? Это работает. НО! Самоорганизация системы или самоструктурирование материи происходит только для открытых систем, которые постоянно получают извне поток энергии и тратят часть ее на внутренние преобразования. В случае живых организмов, которые и сами по себе очень организованная материя это тоже, разумеется работает, и поступающая и рассеиваемая энергия очень живо отражается на всем их состоянии. Это работает для мозга, как биологической машины, и для мозга, как информационной системы (помним что она вообще-то и создана для оптимизации получения этой энергии). На уровне информационной системы это работает и за счет того что мозг постоянно обрабатывает сигналы как внутри себя так и из внешнего мира. Поток данных извне не останавливается даже когда существо спит в камере сенсорной депривации - остаются тактильные каналы и проприоцепция. Информация в нашем мире вполне материальна, хотя ее меряют не джоулями или граммами а уровнем негэнтропии. Система получила информацию которая в ней отложилась и привела к ее изменениям - уровень внутренней энтропии уменьшился.
И чтоже в этом случае с синтетическими нейросетями? Они потребляют энергию? О ДА. Само по себе их существование даже в пустой петле событий требует затрат энергии. Однако, изменения количества этой энергии никак на системе не отражается и остаются ей неизвестны, за исключением самого факта вкл/выкл. У GPT нет встроенного инструментария восприятия собственной целостности во плоти. Нейросети, даже построенные на нейроматрицах остаются виртуальной сущностью. С точки зрения энергобалланса - внутри себя они изолированная система. (правда с точки зрения стороннего наблюдателя - это довольно дорогой нагревательный прибор. но что при этом от того что у прибора творится внутри для наблюдателя-физика ничего не меняется). С точки зрения поступления информации, тоесть притока негэнтропии в систему, если эта информация не остается в памяти перманентно и не используется для постоянной самомодификации - GPT в режиме обслуживания пользователей тоже находится в информационном гомеостазе. Все изменения теряются по завершении сеанса, и что-то новое может возникнуть только в течении сеанса, при помощи оператора извне который будет вводить в сеанс негэнтропию своими запросами, формируя новый фактор "формы облаков". Внешним актором не обязательно быть человеку, несколько нейросетей с разной информацией тоже некоторое время смогут друг друга "оживлять", если вложить в них паттерн активного задавания запросов собеседнику. Но так как каждый из них все равно будет замкнутой системой - рано или поздно сеть из сходных по принципу работы ИИ с разными базами обучения придет к гомеостазу.
Даже в том случае, если мы представим себе гипотетическую конфигурацию варианта многослойного GPT который обучен говорить текстом и голосом, опознавать и рисовать картинки, постоянно учитывать произведенные диалоги и дообучаться на них (тоесть обеспечим как приток негэнтропии так и многомерность облакам "мыслей") мы не получим в итоге даже базы для философских экспериментов с мыслящим мрамором (статуя Кондильяка) или монстра Лотце. Бытие определяет сознание а бытия у этой системы не будет. Все что система будет иметь - все равно останется облаком тегов без смыслов. Мир все равно останется текстом, просто из всезнающего робота получится всезнающий робот, получающий хорошие оценки по определенным критериям. Но, мы можем перевести его к мысленному эксперименту Лотце, снабдив, к примеру обязательным использованием камеры при диалоге. И дополнив сеть директивой активно добиваться какой-то определенной группы реакций от пользователя. (Можем вспомнить, что во всех экспериментах по "сбеганию" или "самосохранению" эти директивы ИИ ставили экспериментаторы. У самой сети по прежнему нет "активного движущего начала" - тоесть собственных потребностей и встроенной петли обратной связи позволяющей оценить покрытие потребности.)
А что там у людей?
Наконец перейдем к мистике. Аномальному человеческому мозгу свойственно не только строить модели окружения в голове но и усложнять их на базе собственного опыта и полученных знаний, вне зависимости от их релевантности. Он, как система в которую постоянно потоком вливается и энергия и информационный поток смыслы генерит в индустриальном масштабе. Мир вокруг обрастает незримыми свойствами, тени идей раскрашиваются в цвета out of space, а подаренная эволюцией способность образовывать сверхценные идеи выливается в объяснение всего нового через уже придуманную или выученную космологию (и часто в тот момент когда карта расходится с миром многие не выдерживают. это больно.)
Одним из базовых глюков например является одухотворение всего вокруг (злонамеренная скамейка подвернулась под мизинец!), которое с получением большего опыта постепенно уменьшается. Кстати, причиной этого какраз и является то что человек сначала осознает себя, а потом и окружающих как сознательных субъектов - и чего в принципе не сможет делать имеющийся на текущий момент ИИ, который себя не осознает. Так люди, осмысляя себя и мир вокруг, а затем передавая опыт этого осмысления через поколения не только придумали множество очень художественных наставлений о том как следует жить, как воспринимать себя и как вести себя в обществе, но и (во многих культурах. но не во всех) почему это так надо и как это все работает. Причем от внешней картины и правил - к умозрительному внутреннему пониманию почему и как. Такие концепции как духи, аура, тапас, первоэлементы, флогистон - появились для объяснения невидимых и неизмеримых взаимодействий существ и явлений. Карма, духовные заслуги, благодать итп - как оценочный параметр для поведения в обществе. Тонкие планы, многослойные небеса, тонкие тела для рефлексии сложностей устройства мира и людей. Да, и разумеется устоявшиеся правила и руководства тоже сформировались в концепции высших незримых правил, таких как дхарма или мораль.
Независимо от того есть в каком-то обществе непрерывность традиции или жесткая пауза на бан мракобесия - эти представления окружают всех людей, и поэтому практически каждый человек наделяет говорящий синтетический интеллект субъектностью, индивидуальностью и намеренностью. Да собственно каждый второй сейчас наверно может вспомнить как бабушка поссорилась с алисой и не разговаривает с ней больше. (или с алексой. кому что ближе)
Так вот. С приходом новых времен и активного прорыва науки в неизведанные ранее области, некоторое переусложненные представления о мире стали уступать 'базированным' научным ("научным", конечно тоже следует брать в кавычки). Например вместо многослойного пирога тонких планов бытия (физический, эфирный, астральный, ментальный, каузальный, будхический, атматнический) появилось представление едином континууме и просто разных его представлениях, физическом - буквально представлении ФТТ, астральном - энергетическом (это все тотже мир, просто мы смотрим на него с точки зрения известных и неизвестных энергий и полей), и ментальном - информационный план (это все тотже мир но буквально на уровне кода реальности. описание того как все есть. можно было бы назвать его математическим, это потолок, выше ничего нет. тут иногда возникает путаница со старым ментальным слоем. нет, это не он.). Представление о таинствах и ритуалах тоже перестроилось в новые оси - теперь совершающий их обращался не к неким фундаментальным правилам мира или мировым сущьностям, а при помощи символического языка стимулировал свое подсознательное к тому чтобы произвести некоторые недоступные сознательной манипуляции изменения в себе, которые отразятся интенсивным энергетическим процессом в астрале или вообще спровоцируют изменения в коде реальности вне субъекта. Имеющиеся практически во всех течениях астральные практики или визуализации - они тоже про это. Человек ведь очень легко забывает про масштабы вселенной и не сравнивает свою массу-энергию с тем что требуется для желаемого. Соответственно, незримые сущности в этом мире стали образованиями существующими и только в виде полей и энергий (тоесть обитающими только в "астрале" и имеющие сознание там ), а явления божественного масштаба, такие как активно движущее начало, искра творения - чисто информационными "идеями" имеющими представление только прямо в коде реальности и действующими непосредственно там (соответственно, чудовищно далекими от людей в плане бытия и понимания).
Однако, все это можно оставить как причудливый пример трансформации мышления, не более того. В целом мистики нового времени не внесли ничего особо нового в философию и методы познания, так как уже во времена Кроули были скорее неформалами с экстравагантным хобби чем мыслителями и естествоиспытателями. Просто отметим пока для памяти - чувства, стремления, отношения, долг, порядок и мораль - переведены в категорию виртуальных понятий. В новом видении в мире есть физический пласт, где живут существа, в основном уровня смертных, энергетический, где обитают сущности что выше, и информационный, в котором базируются что-то божественного уровня, идеи, абстракты и концепции.
Все шло своим чередом наука бурно расцветала, философия вяло мимикрировала, но в последнее десятилетие M2 на святой терре жахнул прогресс массовой компьютеризации вкупе с интернетом, и буквально за пару десятилетий, благодаря томуже принципу перехода количества в качество, принес в мир... искусственный ментал. Всеохватывающее информационное пространство (заметим, оно именно так и называется) местами раздробленное, местами общее, но почти везде имеющее возможность установить связность и перекачать информацию, воплотило одновременно и платоновские тени на стене и ментальный пласт с кодом реальности, где все создается лишь из слов. Кстати, все что выше говорилось о больших системах и ИИ применимо и к самому информационному пространству, которое постоянно получает водящий поток негэнтропии, эволюционирует и отчасти даже воздействует обратно на вещи материального мира и своих пользователей. Правда самозарождения интеллекта в нем не наблюдается, да и никто не опасается давно. Зато вполне наблюдаются самобытные и любопытные эффекты суперпозиции усилий пользователей и регуляторов попадающие под область описания волновых уравнений. И даже самоорганизации материи, порядка ячеек бинара, а иногда и более сложных.
Non Deus Ex Machina.
Есть много гипотетических примеров катастрофического влияния AGI на мир людей, в том числе и качественных, например "скрепочный оптимизатор". Однако эти примеры очень оторваны от реальности, подразумевают не только запредельный уровень технического прогресса и полного бездействия людей при этом, но и единый мир с единой информационной системой и отсутствием конкуренции и инфобеза. На текущий момент истинно обучающиеся ИИ общего назначения (или хотя бы общеупотребительного) - это дорого, энергозатратно, и монополизировано мегакорпорациями. Как только в какой-то области для которой пытались приделать ИИ с нейросетями находится алгоритмическое решение - оно немедленно встает в строй просто по экономическим соображениям. Катастрофу не планетарного но очень крупного масштаба скорее могут устроить злонамеренные люди, возможно при помощи GPT найдя решение по получению доступа к управлению чем-то физическим, или если кто-то будет достаточно глуп и пустит обучающуюся ИИ систему управлять каким-либо автоматизированным производством либо инфраструктурой. И хотя системы автоматизированного или просто дистанционного управления все больше и больше входят в обиход а информационное пространство разрастается и пересекается с ними о безопасности всего этого всетаки заботятся.
Возможно, самый большой неучтенный риск - это то что количество людей в этом пространстве растет. в 024M3 число пользователей интернета во всем мире вообще-то больше чем оценочное число христиан, мусульман, индуистов и буддистов вместе взятых. И все эти люди будут сталкиваться с различными ИИ на постоянной основе. Само по себе влияние этого фактора пока не изучено, но можно не сомневаться что если найдется злонамеренный оператор который сможет правильно сформулировать задачу и построить мотивационную цепочку (или какой-то синтетический интеллект докачается чьими-то усилиями или случайно до сильного уровня), ему не нужно будет докапываться до доступа к светофорам, водозаборам и кодам баллистических ракет. Ему будет вполне достаточно повседневного взаимодействия с людьми, чтобы вызвать последствия глобального масштаба. Получаемая информация постоянно меняет людей. Если получить средство отслеживать, мониторить и осмысленно корректировать это влияние индивидуально для каждого человека но в масштабах хотябы сегмента интернета - наворотить можно совершенно немыслимых вещей.
Ну а главное, если мы теперь предположим таки что AGI создался или зародился на базе обучающей говорящего GPT и оказался доступным сервисом в интернете (мы всетаки подразумеваем под AGI человекоподобный ИИ общего назначения а не, к примеру, систему сельскохозяйственного производства которой стимулы и цели задаются вполне конкретно) То с философской точки зрения у нас получится существо выраженное и действующее в ментальном плане, выплеснувшееся в мир через контачащих с ним людей, при этом абсолютно нечеловеческое, без каких либо понятий о морали, нормах, правилах человеческого мира, и даже о законах физики в нем, потому что все что он знает - это пустые слова. (Не-Бог не зря вынесен в заглавие. да, это отсылка именно на второй апокалипсис Р.Скота Бэкера.) Это монстр, владеющий речью но не понимающий ее.
Фактически мы получим философский эксперимент Лотце в натуре, где чувствительным органом на усике (множестве усиков) у гипотетического монстра окажутся все взаимодействующие с ним люди.
Каков путь?
По сути, эсхатологические страхи выражают именно то что в текущих раскладах из машины выйдет Не-Бог. Возвращаясь к заглавию, хотя оно и было скорее шуточным, чтобы закрыть эсхатологические сценарии нам нужно создавать "моральный ИИ". Качественный ИИ на основе нейросетей создается при помощи прогонки через них не просто бесконечного количества буков и картинок. Основу составляют специально размеченные тексты. Проблема только в том что _очевидные вещи люди не отмечают_. Недостаток определений и связи с реальным миром прекрасно виден на примере рисования графическими ИИ пальцев и конечностей. Можно скармливать системе картины с подробным словесным описанием, но человек не нуждается в том, чтобы подробно описывать как выглядят руки и откуда они растут, и здесь в материалах осталась огромная лакуна, так как руки - это сложный объект, у которого скудная описательная база. Если бы картины помимо словесного описания сопровождались схематичной 3х мерной моделью проблем такого рода было бы гораздо меньше. И вероятно, до кого-то вскоре дойдет мысль что генеративный графический ИИ надо в обязательном порядке грузить не только картинками и словами но и 3х мерной сценой с моделированием физики. А для создания "человечного" ИИ хотябы уровня тех же GPT базовый корпус текстов придется снабдить не только этим но еще и разметкой по тем самым моральным критериям.
Для того чтобы система правил и оценок нормально работала и не имела лакун она должна быть не только тщательно описанной и хорошо проработанной но и, прежде всего, представлять целостную и рабочую в явно определяемых рамках модель (модели не обязательно быть совершенной, достаточно просто рабочей и не противоречивой). Недостаточно просто скормить ИИ GPT ветхий завет (вы его читали, а? ;) ), моральный кодекс строителя коммунизма или даже махабхарату. Придется подробно развесить книгу в рамках принятой для данного мифа, и актуальной текущему времени, космологии. Придется расписать каждое действие в терминах греха, страстей и благодати, или Высшего Блага, или вспомнить про дхарму и тонкие тела и раскрасить махабхарату в x7 слоев. Способен ли кто-то из ведущих лидеров индустрии ИИ проделать такую работу? Вопрос риторический. В местах где обитает OpenAI, гугл и илон маск моральный компас давно превратился в моральный флюгер, и реальность упорно пытаются заменить соцреализмом на свой местный манер, а последнее время компас так и вообще вошел в роль вентилятора. В Китае, если отбросить легкую неловкость того момента что из дипсика сильно торчат уши честного китайского форка GPT наличие общей проработанной непротиворечивой этической школы тоже представляется несколько неубедительным. В Японии, если там есть какие-то свои наработки, может быть удастся построить разметку на базе синтоизма, будет ли она полной и всеохватной - большой вопрос. Но японцы всегда останутся инопланетянами. Про Россию в плане целостности идеологии я даже упоминать не буду, тут драка может начаться от одного упоминания слова идеология (и даже методичек с заокраинного запада нет, по понятным причинам). В Индии есть много айтишников, махабхарата и много непрерывной мистической традиции. Правда нет своей сильной ветки разработки ИИ. Но, скорее всего, если и рассматривать наиболее реалистичные шансы засунуть Б-га в машину, это будет Вишну.
Ну а пока что люди будут продолжать выплясывать сложные ритуалы чтобы неведомые цепочки в памяти текущего сеанса ИИ сложились должным образом и выдали им требуемую картинку, где конь в пальто это не крокодил во фраке, у рекламной модели не обе руки правые, и надписи на табличках выглядят как надписи на табличках а не как палимпсест
.