Последние достижения сделали глубокие нейронные сети ведущей парадигмой искусственного интеллекта. Одна из замечательных особенностей глубоких нейронных сетей заключается в том, что на большом количестве примеров они могут научиться действовать. Это означает, что мы можем заставить программное обеспечение научиться делать то, чего не знают даже его программисты. Чем сложнее задача, тем мощнее должна быть нейронная сеть.
Хотя исследования нейронных сетей вдохновлены архитектурой мозга, они обычно не имеют ничего общего с реальными нейронами. Но в ходе недавнего анализа нейробиолог Еврейского университета в Иерусалиме Давид Бениагуев и его команда выяснили, насколько мощной должна быть глубокая нейронная сеть, чтобы воспроизвести поведение отдельного нейрона . Удивительный результат: очень, очень мощный.
С искусственными нейронными сетями вместо того, чтобы напрямую программировать правила мышления, программист вместо этого создает систему, которая может учиться на входных данных. Она называется нейронной сетью, потому что ее архитектура вдохновлена нейронами в мозгу, хотя «единицы» в искусственной нейронной сети намного проще, чем биологические нейроны.
Искусственная нейронная сеть подвергается воздействию тысяч, а иногда и сотен тысяч примеров. Каждый раз, когда он сталкивается с новым примером, он тонко меняет связи между модулями, чтобы получить лучший результат. Вы можете научить нейронную сеть определять, изображено ли изображение ребенка или взрослого. Со временем программа научится делать это хорошо.
Однако , как известно , даже когда у нас есть работающая нейронная сеть, объяснение того, как она делает то, что она делает, неизвестно и требует дальнейшего изучения и анализа: в итоге мы получаем числовые «веса» между тысячами единиц, которые трудно вычислить. посмотреть и вывести общие принципы. Традиционные («мелкие») нейронные сети имели всего три слоя (один входной, один скрытый и один выходной).
В последнее десятилетие эффективно использовались более скрытые слои, поэтому их называют «глубокими» нейронными сетями, выполняющими «глубокое обучение».
Это делает искусственные нейронные сети особенно полезными в ситуациях, когда мы не понимаем, какое мышление потребуется для выполнения задачи. Как бы вы описали кому-нибудь, как отличить лица Джесси Айзенберга от Майкла Сера? Никто не знает, но с большим количеством изображений вы можете обучить нейронную сеть, чтобы понять это. Сеть учится сама на примерах, и нам не нужно знать, как бы мы запрограммировали ее традиционным способом.
Так как же нейробиологи Бениагуев, Сегев и Лондон использовали нейронные сети, чтобы лучше понять биологические нейроны? Предыдущая нейронаука придумала дифференциальные уравнения в частных производных для описания поведения нейронов, и команда использовала эти уравнения для расчета того, что нейроны будут делать, если им будут предоставлены тысячи случайно сгенерированных возможных входных данных. Затем они использовали эти входные и выходные данные для обучения глубоких нейронных сетей. Их вопрос заключался в следующем: насколько сложной должна быть нейронная сеть с глубоким обучением, чтобы смоделировать результаты уравнений?
Один из способов оценить сложность архитектуры нейронной сети — посмотреть, сколько слоев используется — глубокие сети называются «глубокими», потому что они имеют более одного скрытого слоя. Другой мерой сложности является количество единиц в каждом скрытом слое.
Оказывается, для моделирования некоторых нейронов вообще не нужны глубокие сети. Один из видов нейронов — «интегрируй-и-активируй». Все, что делает этот нейрон, — это суммирует свой возбуждающий вход, вычитает тормозной вход, а затем срабатывает, если сумма превышает некоторый порог. Исследователи смогли смоделировать это с помощью традиционной «мелкой» нейронной сети (один скрытый слой только с одним модулем!).
Все было по-другому, когда они попытались смоделировать более сложный тип нейрона, обнаруженного в коре головного мозга (корково-пирамидный нейрон L5, или нейрон L5PC). Они обнаружили, что эти отдельные нейроны намного сложнее, чем мы думали ранее: искусственным сетям (темпорально-сверточного типа) требовалось полных семь слоев, каждый из 128 единиц, чтобы успешно моделировать эти пирамидальные нейроны.
Более глубокое исследование показывает, что эти нейроны не просто срабатывают или не срабатывают при их непосредственном входе. Скорее, они интегрируют ввод в течение десятков миллисекунд. Дендриты (входные структуры нейронов), по-видимому, сами по себе выполняют важную обработку, используя информацию о пространстве (откуда поступил ввод), а также о времени (когда поступил каждый ввод). Каждый нейрон — это, по выражению авторов, «сложная вычислительная единица», сама по себе.
На самом деле, вместо того, чтобы думать, что мозг работает как сеть глубокого обучения, было бы правильнее думать о многих из 10 миллиардов нейронов мозга как о глубоких сетях с пятью-восемью слоями в каждой. Если это правда, это будет означать, что вычислительные возможности мозга намного больше, чем мы думали, и что моделирование мозга на биологическом уровне потребует ошеломляюще больших вычислительных ресурсов. (Это плохая новость для таких ученых, как я, которые надеются смоделировать человеческий разум на машинах, чтобы лучше понять их.)
Положительным моментом является то, что, какими бы сложными ни были сети глубокого обучения, они в вычислительном отношении более эффективны , чем более подробное описание, даваемое дифференциальными уравнениями в частных производных, тысячи которых необходимо решить для каждого нейрона. Нейронная сеть вычисляет примерно в 2000 раз быстрее, а будущие проекты глубокого обучения, вероятно, сделают это еще быстрее.
Джим Дэвис — профессор кафедры когнитивных наук Карлтонского университета. Он является соведущим отмеченного наградами подкаста Minding the Brain. Его последняя книга называется «Быть тем, кем вас считает ваша собака: наука о том, как стать лучше» .
Перевод текста из зарубежного сайта ссылка в низу:
https://nautil.us/why-ai-lags-behind-the-human-brain-in-computational-power-13069/
#человеческий мозг #искуственный интеллект #мощность #нейробиолог