Путешествие к Центру Нейрона

Погрузитесь в соленый океан мозга и приблизьтесь к сущностям, которые вдохновляют наши системы А. И. и делают ваши мысли возможными. Исследуйте, как понимание разницы между искусственными и биологическими нейронами может дать нам подсказки о том, как двигаться к более гибкому виду искусственного интеллекта.

” Звуки миллиона душ", 2-минутная художественная дань нашим кортикальным колонкам и миллиардам нейронов в неокортексе (качество 8K). Установите настройки YouTube на разрешение 4K или 8K + полный экран для лучшего опыта. - И когда мы приближаемся к величественной колонне, таинственный узор зовет нас издалека звуками миллионов душ.… Я чувствую, что самое яркое солнце сжимается в этих крошечных пятнышках чуда.. сводится к гобелену снов, которые резонируют в нашем сознании.. И я слышу, как ты смеешься.. Я слышу, как ты падаешь.… Я слышу, как твои слезы опустошают горизонты.. пока мы не сольемся в центре колонны, где нас ждет тишина.. Тишина, а затем миллионы солнц, устремляющихся к пробуждению нового существования.. Держи меня крепче ... и давай нырнем прямо в центр колонны.. где ты и я-одно в тишине..” / Видеоарт и поэзия, созданные автором Хавьером Идеами | https://ideami.com

Каждая ваша мысль становится возможной благодаря вашим биологическим нейронам. И за многими из самых полезных архитектур A. I стоит сущность, вдохновленная ими. Нейроны находятся в эпицентре обработки, лежащей в основе сложности, создаваемой интеллектуальными системами. Любопытно узнать больше о двигателе ваших мыслей и о том, как они сравниваются со своими искусственными аналогами? Давайте сделаем это!

Нейроны изначально были вдохновлены нашими биологическими, но они очень отличаются. А почему бы и нет? Есть много способов добраться до одного и того же пункта назначения, и точно так же, как полет человека вдохновлялся, но не копировал часть за частью, как летают птицы, наши искусственные нейроны лишь частично вдохновляются нашими биологическими.

И все же наши биологические нейроны намного сложнее искусственных и содержат в себе так много подробностей и так много тайн. Даже если нам не нужно копировать работу биологических нейронов, понимание различий между ними может дать нам новые подсказки о том, как двигаться к более гибкой форме искусственного интеллекта.

В этой статье мы рассмотрим эти различия, а также некоторые из них, связанные с сетями, в которые встроены эти нейроны. Мы также рассмотрим, каким образом эти различия могут дать новые возможности для будущего.

Примечание: А. И.-это обширное поле. В этом районе есть все виды экзотических вариаций. При проведении сравнений я буду ссылаться исключительно на некоторые из наиболее типичных и популярных в настоящее время архитектур глубокого обучения.

The neuron: salty water and electricity

Прежде чем углубиться в детали функционирования нейронов, давайте быстро заглянем внутрь. Это вот-вот станет соленым!

• Думайте о своем мозге как о реципиенте, который держит океан соленой воды. В этом океане много клеток, которые мы называем нейронами, и много ионов. Ионы-это атомы, в которых положительный и отрицательный заряд не равны. И основные ионы, которые есть в вашем мозге: натрий (Na+), калий (K+), кальций (Ca++) и хлорид (Cl-). Хорошее напоминание о том, почему эти минералы так важны!
• Таким образом, биологический нейрон, как и большинство клеток, в основном состоит из соленой воды с плавающими вокруг ионами, такими как хлорид и натрий. И все, что делает нейрон, можно объяснить в терминах электричества: напряжения (потенциал/напряжение, которое, например, существует на мембране нейрона) и токи (поток заряженных ионов в нейрон и из него).
• Искусственный нейрон создается с помощью компьютерного кода, который при выполнении создает структуры данных, состоящие из цифровых байтов, и так далее. Большая часть того, что делает искусственный нейрон, может быть понята в терминах вычислений, линейных и нелинейных преобразований данных.

Соленый океан против кремниевой страны чудес. Что более эффективно? Давайте посмотрим.

Энергия: 20 Вт для премиального сервиса

Обработка информации требует энергии, поэтому потребление энергии в этих нейронных сетях имеет большое значение . Он устанавливает границы возможного, и наш мозг чрезвычайно эффективен.

Прямо сейчас, когда мысли движутся в вашем уме, ваш мозг тратит всего около 20 Ватт энергии, едва достаточной, чтобы включить лампочку. Он способен делать это даже во время голодания или сна, сохраняя умеренную температуру около 37 градусов по Цельсию.

Мощные графические процессоры, часто используемые нашими системами глубокого обучения, могут расходовать сотни ватт на единицу, намного больше, чем наш мозг, и они выделяют много тепла, достигая температуры около 70 или 80 градусов Цельсия.

В настоящее время ведутся исследования по повышению энергоэффективности систем A. I. Разреженность связей и активаций может помочь этим системам приблизиться к огромной эффективности нашего мозга, в котором только небольшой процент нейронов активен в любой момент времени (обычно от 0,5 до 2%).

Функциональность: обнаружение всего вокруг

Мы рассмотрели окружающую среду и потребление энергии. Пора приблизиться к одной из этих сущностей . Что делает нейрон?

• Он обнаруживает паттерны, исходящие от множества входных сигналов, которые он получает. У нас в мозге около 100 миллиардов нейронов (оценки разнятся, некоторые эксперты говорят, что реальное число больше около 86 миллиардов), и каждый из них получает входы примерно от 10000 других нейронов (некоторые говорят, что это около 7000, другие 8000, в любом случае их тысячи).
• Биологический нейрон имеет порог, и когда этот порог пересекается, он испускает сигнал, который мы называем потенциалом действия или спайком. Этот сигнал проходит по его аксону (выходу нейрона) к синапсам других нейронов.
• Синапс-это структура, которая позволяет нейрону передавать сигнал другому нейрону. Синапсы располагаются на дендритах нейронов (их ветвях).
• Таким образом, вы можете обобщить биологический нейрон с помощью этого процесса: получить входные сигналы, интегрировать их и решить, достаточно ли силен результат этой интеграции, чтобы запустить выходной сигнал.
• Искусственный нейрон, с другой стороны, выполняет вычисления, которые объединяют его входы с их соответствующими весами (весами являются числовые значения, которые определяют силу связи между этим нейроном и каждым из его входов).
• Результат передается через функцию активации (функцию, которая вычисляет нелинейное преобразование ее входных данных. Это позволяет сети изучать нелинейные отображения между входами и выходами).
• Таким образом, вы можете суммировать искусственный нейрон с помощью этого процесса: получить входы, добавить результат умножения каждого из этих входов на силу их связи с этим нейроном и передать результат этого вычисления через нелинейную функцию.

В чем дело: обратите внимание на ключевое различие. Биологические нейроны имеют порог, который заставляет их молчать до тех пор, пока он не будет преодолен. Большинство искусственных нейронов в системах глубокого обучения производят активный выход (некоторые могут выводить 0. Например, функции активации ReLU устанавливают выход нейрона равным 0, если их вход меньше 0). Как мы подчеркнем позже, около 0,5-2% наших биологических нейронов активны в любой момент времени против примерно 50% в типичных системах искусственного глубокого обучения.

Электричество повсюду

Давайте на мгновение вернемся к электрической стороне вещей в биологической сфере. Мы часто слышим, что наши нейроны общаются с помощью электрических импульсов. Давайте погрузимся в электрическое измерение, чтобы еще лучше усвоить происходящее.

• Напряжение-это сравнение (в относительных терминах) между электрическим зарядом в одном месте и зарядом в другом месте.
• Напряжение в нейронах обычно измеряется в милливольтах. Милливольт-это тысячная часть вольта. Наши крошечные нейроны используют крошечное количество электричества для проведения своих операций.
• Очень важно подчеркнуть мембранный потенциал (напряжение) нейрона. Это напряжение нейрона по отношению к пространству вне его. И мы называем его мембранным потенциалом, потому что он расположен на мембране нейрона, которая представляет собой тонкий слой жира.
• Когда есть разница в электрическом заряде между двумя областями, электрический заряд будет стремиться течь, чтобы компенсировать разницу и выровнять ситуацию.
• Мембрана нейрона действует как барьер между электрическим током внутри и внешним. И то, что мы называем ионными каналами, похоже на маленькие туннели в этом барьере, которые позволяют вещам течь контролируемым образом.
• Проводимость, размер отверстий, определяет, как быстро эти ионы текут в мембрану и из нее.
• Поэтому, когда существует напряжение (потенциал), относительная разница в зарядах между двумя областями, ионы текут, чтобы уравнять вещи. Но почему? Из - за универсального принципа противоположных зарядов, притягивающих и подобных зарядов, отталкивающих друг друга. Когда, например, в определенной обстановке больше положительного заряда, чем отрицательного, электрический ток образуется для выравнивания ситуации, принося больше отрицательного заряда в область.
• Порог срабатывания (или порог потенциала действия) - это напряжение, которое должно быть достигнуто на мембране нейрона, чтобы нейрон выпустил выходной сигнал (потенциал действия) через свой аксон. Этот порог обычно составляет около-50 мв (милливольт).
• Так называемый потенциал покоя нейрона находится на уровне-70 мВ, ниже порога срабатывания, поэтому по умолчанию нейрон не будет срабатывать.
• Важность этого порога трудно переоценить. В результате его существования только самые интенсивные уровни активации передаются через аксон нейрона (его выход). Это позволяет кодировать информацию очень компактным и эффективным способом.
• Помните те 20 ватт потребления энергии, о которых мы упоминали в самом начале? Биологические нейроны передают только релевантную и ключевую информацию. В остальном они молчат.

Давайте напомним себе, что нет никаких причин, по которым мы должны копировать или имитировать сложность биологического нейрона. Мы могли бы создать системы, которые демонстрируют гибкие формы интеллекта совершенно по-другому. И чем проще путь, тем лучше. Но глубокое понимание наших биологических нейронов может дать нам некоторые идеи, которые могут обогатить наши эксперименты и стратегии при работе с искусственными нейронами.

Самое время: спайкнуть или не спайкнуть?

Очень важное различие между обоими типами нейронов связано с временным измерением.

• Биологические нейроны срабатывают на очень короткое мгновение. Они испускают всплески, которые длятся очень короткое время (обычно около 1 миллисекунды). Информация, передаваемая нейроном, кодируется во времени этих спайков. Поезд спайков - это последовательность спайков и молчаний.
• После каждого спайка мембранный потенциал нейрона возвращается к небольшому значению (он может даже опуститься ниже своего потенциала покоя). Чтобы снова вспыхнуть, напряжение должно снова подняться и превысить порог срабатывания.
• Когда происходят процессы обучения, эффективность, с которой нейрон может внести свой вклад в активацию других нейронов, может динамически изменяться с помощью таких процессов, как долгосрочная потенциация (LTP), которые играют центральную роль в том, как мы учимся и создаем воспоминания (долгосрочная депрессия-это противоположный процесс LTP).
• Большинство искусственных нейронов, как правило, постоянно производят выходы (в течение каждого цикла выполнения), посылая непрерывные сигналы следующим нейронам вниз по линии (иногда их активационные функции могут установить их выход на 0).
• Таким образом, в большинстве искусственных сетей глубокого обучения измерение времени не имеет значения. Порог как таковой отсутствует в том виде, в каком он используется в наших биологических сетях. Наши искусственные системы намного проще. Но проще иногда бывает лучше. Будет ли направление, в котором движутся современные системы глубокого обучения, достаточным, чтобы привести нас к тому, что эксперты любят называть AGI (искусственный общий интеллект)? Или, во всяком случае, к более гибкой форме А. И.? .. Присяжные по этому вопросу еще не пришли.

Архитектура Фон Неймана стоит за большинством аппаратных средств, которые мы используем сегодня. Чтобы приблизиться к тому, что делает мозг, некоторые исследователи начинают работать с другими видами архитектуры. Примером могут служить нейроморфные вычисления. Такая архитектура обеспечивает большую параллельную обработку и надежность. Самое главное, он может работать с нейронными сетями, которые имеют дело как с пространственным, так и с временным измерениями, как это делает мозг. Такие компании, как IBM или Intel, уже производят нейроморфные чипы. Эта область исследований сталкивается с рядом важных проблем, как на исследовательском фронте, так и с точки зрения необходимости иметь дело с существующей экосистемой, которая так хорошо адаптирована к модели Фон Неймана.

Немного пространства, пожалуйста: магия разреженности

Когда нейроны объединяются друг с другом, количество их срабатывающих в любой момент и количество связей между ними имеют множество последствий с точки зрения потребления энергии, устойчивости, надежности и других связанных с ними факторов.

• По мере того как мысли текут через ваш разум, только около 2% ваших нейронов в среднем активируются. Большинство из них молчат. Поскольку только небольшой процент нейронов активен в любой момент времени, шум и другие искажения труднее мешают процессам обнаружения паттернов в этих сетях. Разреженность делает наши биологические сети устойчивыми и надежными.
• И наоборот, в наших искусственных сетях глубокого обучения большинство нейронов непрерывно производят выходы (некоторые из них могут иметь выходы, установленные на 0 их активационными функциями). Это одна из потенциальных причин, почему системы глубокого обучения часто довольно хрупки и чувствительны к тому, что мы называем состязательными атаками/примерами. Состязательные атаки-это тонкие, минимальные изменения на входе сети (обычно невидимые для нашего восприятия), которые приводят к резким и неправильным изменениям на ее выходе. Разреженная природа сетей глубокого обучения делает их более чувствительными к изменениям входных данных. Когда большинство весов релевантны и постоянно находятся в игре, любые изменения могут привести к драматическим последствиям.
• Но разреженность выходит за рамки активаций. Numenta-хорошо известная исследовательская компания, где талантливая группа ученых и инженеров объединяет исследования в области нейробиологии и машинного интеллекта. Их команду возглавляют Джефф Хокинс и Субутай Ахмад. Команда Numenta очень глубоко исследовала проблему разреженности мозга, а также другие области, связанные с тем, как функционирует наш неокортекс. Одна из вещей, которую мы можем узнать из их работ, исследований и публикаций, заключается в том, что наш неокортекс разрежен на двух уровнях.
• Во-первых, как было сказано выше, с точки зрения активации наилучшие оценки заключаются в том, что от 0,5% до 2% наших биологических нейронов активны в любой момент времени.
• И затем, мы также имеем разреженность в плане связности между нейронами. Когда слой нейронов проецируется на другой слой, команда Numenta говорит нам, что текущие оценки говорят, что существует от 1 до 10% возможных связей между нейронами.
• В отличие от этого, большинство систем глубокого обучения в настоящее время очень плотные. Как правило, 100% плотный с точки зрения подключения. И около 50% с точки зрения активаций.

Новые архитектуры, использующие разреженную связь и разреженные активации, являются постоянной областью исследований. Независимо от того, что А. И. не обязательно копировать то, что делает мозг, разреженность, как стратегия, имеет довольно большой смысл в рамках миссии по созданию систем, которые являются более устойчивыми и надежными.

Входные данные и параметры

В конечном счете мы хотим использовать эти нейроны для обучения. Итак, давайте теперь углубимся в ручки, которые эти сети настраивают, чтобы генерировать это обучение. Далее мы рассмотрим сам алгоритм обучения. Начнем с сравнения входных данных и параметров обоих типов нейронных сетей.

• В биологических сетях вы можете иметь 3 типа входов: возбуждающий (делает принимающий нейрон более вероятным для срабатывания), тормозящий (делает противоположное) и утечка (аналогичная функция ингибирующего).
• Как уже говорилось ранее, эти входы взаимодействуют с принимающим нейроном через синапсы, точки соединения между передающими и принимающими нейронами. И большинство синапсов находятся на дендритах принимающего нейрона.
• Дендриты-это ветви, которые отходят от нейрона (дендрит происходит от греческого-dendro -, что означает дерево). На дендритах интегрируются различные входные сигналы. Эти дендриты имеют небольшие шипы. Именно там находятся выходы из передающих нейронов (аксонов) интерфейса (синапса), устанавливающие связи с другими нейронами.
• В искусственных сетях у вас, как правило, есть один вид входных данных, который обычно имеет ряд связанных весов (числа, которые выражают силу связи между этим входом и рядом других нейронов, подключенных к нему, по одному весу на соединение).
• Эти веса содержат непрерывные значения, которые могут быть отрицательными или положительными. Каждое значение веса в сочетании с вычислениями, выполняемыми на нейроне, на практике будет способствовать тому, чтобы принимающий нейрон стал более или менее активным (своего рода аналог ранее описанной возбуждающе — тормозной динамики).
• Итак, в биологическом нейроне идет борьба между возбуждающими и тормозными сигналами. Результат этой битвы определяет напряжение на мембране клетки. И именно это мембранное напряжение должно перейти порог потенциала действия, чтобы нейрон сработал.
• В искусственном нейроне все проще. Не существует явного порога, и различные силы (положительные или отрицательные) каждого из весов объединяются, чтобы стимулировать более или менее принимающие нейроны.

Давайте ближе подойдем к параметрам обеих сущностей.

• В биологических сетях мы имеем понятие синаптического веса, который определяет влияние, которое сигнал от посылающего нейрона может оказать на принимающий нейрон через их синаптическую связь.
• Если подойти еще ближе, то это воздействие представляет собой способность потенциала действия посылающего нейрона высвобождать нейротрансмиттеры, а этих нейротрансмиттеров открывать синаптические каналы принимающей стороны.
• В искусственных сетях у нас есть веса, которые определяют силу каждой из связей между передающим и принимающим нейроном. И эти веса-просто числа. Это могут быть числа с плавающей запятой, целые числа, одиночные биты и т. Д.
• Таким образом, в то время как искусственный вес-это простое число, биологический синаптический вес зависит от множества факторов. К таким факторам относятся, например, количество нейромедиатора, которое может высвобождаться в синапс и поглощаться с другой стороны (и здесь в игру вступает количество специфических видов рецепторов и ионов), насколько хорошо сигнал проходит через аксон (на это влияет миелинизация в аксоне), эффективность распространения сигнала и количество связей между аксоном и дендритами принимающего нейрона. Как мы видим, это выходит далеко за рамки простого числа.

Таковы параметры этих сетей. И, уменьшив на мгновение масштаб, что они представляют?

• Эти веса, в общем, представляют, к чему чувствителен нейрон, что он обнаруживает. Если значение веса велико, это означает, что соответствующий нейрон очень чувствителен к входным данным, которые он получает.
• Поэтому мы можем чувствовать, что процесс обучения в обоих случаях связан с изменением и корректировкой этих весов, производя различные паттерны в сетях по мере продвижения обучения.
• Итак, приготовьтесь к этому: каждая из ваших мыслей и воспоминаний представлена паттерном синаптических весов. И то же самое происходит в наших искусственных сетях, где паттерны числовых весов представляют информацию на разных уровнях абстракции, паттерны, которые развиваются на протяжении всего процесса обучения.

Мы получили структуру, входы, параметры и выходы. Пора учиться!

Обучение: обратное распространение и за его пределами

Для того чтобы учиться, нам нужно настроить эти веса, эти параметры и сделать это в правильном направлении. Но как? Что такое алгоритм обучения?

• В наших искусственных сетях глубокого обучения обратное распространение в сочетании с градиентным спуском является типичным алгоритмом выбора.
• Например, в контролируемых системах (где мы предоставляем набор данных с метками, скажем, несколько изображений животных с метками, идентифицирующими вид животного) мы запускаем сеть, а затем вычисляем ее производительность, ее значение потерь или ошибку (разницу между тем, что мы получаем, и тем, что мы хотели бы получить).
• Затем, начиная с выхода сети и двигаясь к ее входу (распространяя текущее значение потерь в обратном направлении, поэтому мы называем это обратным распространением), мы используем силу исчисления и его цепное правило для вычисления влияния каждого из параметров сети на это конечное значение потерь. Мы можем это сделать, потому что все вычисления, выполняемые на разных уровнях нейронной сети, дифференцируемы.
• Как только мы узнаем, как изменение каждого из весов повлияет на конечное значение потерь сети, мы можем перейти к изменению каждого из этих параметров в направлении, которое минимизирует это конечное значение потерь, эту разницу между нашими целями и тем, где мы находимся в каждый момент.
• Если мы будем продолжать повторять этот процесс, двигаясь вниз по этим градиентам, мы окажемся в месте, где вычисления, произведенные с помощью комбинации всех наших весов, производят очень небольшую разницу между нашими целевыми значениями и текущим выходом сети. Обучение состоялось.
• А как насчет наших биологических сетей? Происходит ли в мозге что-то похожее на обратное распространение? Вокруг этого есть споры. Некоторые эксперты считают, что в мозге может происходить что-то, что, хотя и отличается, может иметь сходство с тем, что делает обратное распространение. Другие думают, что то, как учатся наши биологические сети, не имеет к этому никакого отношения. Таким образом, жюри все еще открыто, и в этой области ведется много активных исследований.

Что случилось : Обратное распространение-отличный алгоритм обучения. И все же, как и у любого алгоритма, у него есть сильные и слабые стороны. что, если мы выйдем за рамки поиска чего-то похожего на backprop в мозге и рассмотрим другие варианты? Исследователь Бен Гертцель, эксперт в области искусственного общего интеллекта, считает, что в конечном итоге мы выйдем за рамки backprop и будем использовать другие виды алгоритмов обучения, которые будут лучше адаптироваться к потребностям будущих систем AGI. Они могут включать эволюционные алгоритмы типа CMA-ES, применяемые к сложным нейронным архитектурам.

И Бен говорит нам, что если бы мы использовали эти виды эволюционных алгоритмов, мы могли бы тогда, например, использовать умозаключение для оценки пригодности и другие стратегии для руководства эволюционным процессом обучения, стратегии, которые труднее реализовать, когда мы используем обратное распространение.

Бен выдвигает действительно интересный вопрос: сколько нейронных архитектур отбрасывается только потому, что они не подходят для работы с алгоритмом обратного распространения? Это отличное напоминание о том, чтобы держать наши возможности и наш разум открытыми для новых возможностей.

Наш мозг извлекает выгоду из двух видов процессов обучения: эволюционных, которые кодируются в наших генах, и тех, которые происходят в течение нашей жизни в наших нейронных сетях. Объединение обоих подходов в наших искусственных сетях может открыть дверь для новых достижений.

Эволюция: все в движении

Что приводит нас к эволюционному аспекту этих нейронных архитектур.

• Прямо сейчас нейронные сети в вашем неокортексе уже отличаются от того, какими они были несколько часов назад. Они никогда не прекращают развиваться.
• В общем и целом, в наших биологических сетях происходят процессы оптимизации на самых разных уровнях, не только с точки зрения их параметров, но и на уровне самих сетей, их структуры, алгоритмов и т. д.
• Когда мы активны, наши типичные и наиболее популярные системы искусственного глубокого обучения оптимизируют свои параметры (веса) с помощью обратного распространения, и это все. Сама архитектура остается статичной, если не считать изменений, которые мы время от времени применяем к их гиперпараметрам (вручную или с помощью AutoML, поиска сетки и других подобных опций).

Исследование самооптимизирующихся механизмов, которые могут позволить архитектурам глубокого обучения трансформировать и развивать свои структуры и оптимизировать свои стратегии по мере продвижения процесса обучения, может сделать наши искусственные сети более адаптивными и гибкими. Такие исследователи, как профессор Кеннет Стэнли, уже получили очень интересные результаты с динамическими системами, которые движутся в этом направлении.

Когда: непрерывное обучение

И какова продолжительность этих процессов обучения?

• В наших современных и наиболее типичных сетях глубокого обучения процессы обучения имеют начало и конец. Сначала мы тренируемся, завершаем процесс обучения, а затем выполняем то, что мы называем умозаключением. Мы применяем это обучение к ранее невидимым данным в отдельном процессе.
• Мы можем продолжать переподготовку наших сетей по мере поступления новых данных и итеративно обновлять наши модели.
• В нашем мозгу процессы обучения никогда не засыпают. Происходит непрерывное обучение. Сила наших синаптических связей меняется по мере того, как мы думаем, действуем и даже спим.

Что случилось: Непрерывное обучение-горячая тема в сообществе A. I. Мы знаем, что если мы хотим в конечном итоге достичь более гибкого и надежного вида искусственного интеллекта, обучение должно быть более непрерывным. В этой области проводится много исследований.

Давайте будем общительными

Биологические нейроны гораздо более социальные, чем наши искусственные. Что это значит?

• В типичных сетях глубокого обучения искусственные нейроны взаимодействуют в одном направлении к следующему слою (вычисления обратного распространения выполняются в обратном порядке), и они соединяются только с предыдущим и следующим слоями. Есть исключения, но мы говорим здесь о наиболее типичных видах сетей глубокого обучения.
• Биологические нейроны могут общаться в нескольких направлениях и иметь более широкий и богатый диапазон связей (будучи также более редкими в то же время). Некоторые нейроны общаются вверх и вниз по кортикальным столбцам. У других есть связи, которые идут боком. Аспект времени, о котором я говорил ранее, представляет еще более богатый аспект процесса.

Что происходит: новые типы архитектур A. I, которые используют более гибкие и богатые формы подключения, являются еще одной активной областью исследований. Например, исследователи работают над графовыми нейронными сетями и другими архитектурами, использующими гиперграфы и метаграфы. Проект SingularityNET, основанный Беном Гертцелем, проводит большую работу в этой области. Он сочетает в себе технологию блокчейна с услугами искусственного интеллекта для создания децентрализованной сети A. I. В последнее время проект сотрудничает с экосистемой Cardano, чтобы ускорить ее продвижение к глобальной децентрализованной системе AGI.

Увеличение масштаба

Чтобы завершить наше путешествие, давайте на мгновение уменьшим масштаб.

• Нейроны, участвующие в продвинутой части нашего интеллекта, расположены в неокортексе.
• Наш неокортекс организован в виде микроколонн, каждая из которых состоит примерно из 100 нейронов, которые имеют дело с аналогичными типами данных.
• Затем ряд микроколонн структурируется в терминах кортикальных колонок, и мы имеем около 150000 колонок в нашем неокортексе.
• Если вам интересно углубиться в то, что происходит в этих кортикальных столбцах, я рекомендую вам проверить книгу “Тысяча мозгов: новая теория интеллекта” ученого и предпринимателя Джеффа Хокинса, настоящий шедевр, в котором он анализирует последние исследования, проведенные его командой в Numenta.

И если вы хотите продолжить изучение того, как недавние нейробиологические исследования, подобные тому, что провели Джефф Хокинс и его команда, указывают путь к достижению более устойчивой, последовательной и гибкой формы искусственного интеллекта, вы можете проверить эту другую статью ниже, которую я написал на эту тему