Современные достижения сделали глубокие нейронные сети ведущей парадигмой искусственного интеллекта. Одна из замечательных особенностей глубоких нейронных сетей заключается в том, что, имея большое количество примеров, они могут научиться действовать. Это означает, что мы можем заставить программное обеспечение учиться делать то, что даже их программисты не умеют делать. Чем сложнее задача, тем мощнее должна быть нейронная сеть.
Хотя исследования нейронных сетей вдохновлены архитектурой мозга, они обычно не имеют ничего общего с реальными нейронами. Но в ходе недавнего анализа нейробиолог Еврейского университета Иерусалима Дэвид Бениагуев и его команда выяснили, насколько мощной должна быть глубокая нейронная сеть чтобы воспроизвести поведение одного нейрона. Удивительный результат: действительно, действительно мощный.
Подумайте о том, что многие из 10 миллиардов нейронов мозга сами по себе являются глубокими сетями.
С помощью искусственных нейронных сетей, а не прямого программирования в правилах мышления, программист вместо этого создает систему, которая может учиться на входных данных. Он называется нейронной сетью, потому что его архитектура вдохновлена нейронами в мозге, хотя “единицы” в искусственной нейронной сети намного проще, чем биологические нейроны.
Искусственная нейронная сеть подвергается воздействию тысяч, иногда сотен тысяч примеров. Каждый раз, когда он испытывает новый пример, он незаметно изменяет связи между блоками, чтобы обеспечить лучший результат. Вы можете обучить нейронную сеть определять, изображен ли на картинке ребенок или взрослый. Со временем программа научится делать это хорошо.
Однако, как известно, даже когда у нас есть работающая нейронная сеть, объяснение того, как она делает то, что она делает, неизвестно и требует дальнейшего изучения и анализа: в итоге мы получаем числовые “веса” между тысячами единиц, на которые трудно смотреть и выводить общие принципы. Традиционные (“неглубокие”) нейронные сети имели только три слоя (один входной, один скрытый и один выходной).
В последнее десятилетие было эффективно использовано больше скрытых слоев, поэтому их называют “глубокими” нейронными сетями, которые выполняют “глубокое обучение”.
Это делает искусственные нейронные сети особенно полезными в ситуациях, когда мы не понимаем, какое мышление потребуется для выполнения задачи. Как бы вы описали кому-нибудь, как определить разницу между лицами Джесси Айзенберга и Майкла Сера? Никто не знает, но, имея много изображений, вы могли бы обучить нейронную сеть, чтобы понять это. Сеть сама учится на примерах, и нам не нужно знать, как бы мы запрограммировали ее традиционным способом.
Итак, как нейробиологи Бениагуев, Сегев и Лондон использовали нейронные сети для лучшего понимания биологических нейронов? Предыдущая нейробиология разработала уравнения в частных производных для описания поведения нейронов, и команда использовала эти уравнения для расчета того, что будут делать нейроны при наличии тысяч случайно сгенерированных возможных входных данных. Затем они использовали эти входы и выходы для обучения глубоких нейронных сетей. Их вопрос заключался в следующем: насколько сложной должна быть нейронная сеть глубокого обучения, чтобы смоделировать то, что дают уравнения?
Один из способов оценить сложность архитектуры нейронной сети—посмотреть, сколько слоев используется-глубокие сети называются “глубокими”, потому что у них более одного скрытого слоя. Еще одним показателем сложности является количество единиц измерения в каждом скрытом слое.
Оказывается, моделирование некоторых нейронов вообще не требует глубоких сетей. Один из видов нейронов-это “интегрируйся и стреляй”. Все, что делает этот нейрон, - это суммирует свой возбуждающий вход, вычитает тормозящий вход, а затем срабатывает, если количество превышает некоторый порог. Исследователи смогли смоделировать это с помощью традиционной “неглубокой” нейронной сети (один скрытый слой только с одним блоком!).
Все было по-другому, когда они попытались смоделировать более сложный вид нейронов, обнаруженных в коре головного мозга (пирамидальный кортикальный L5, или нейрон L5PC). Они обнаружили, что эти отдельные нейроны намного сложнее, чем мы думали ранее: искусственным сетям (темпорально-сверточного типа) требовалось целых семь слоев, каждый из которых состоял из 128 единиц, чтобы успешно имитировать эти пирамидальные нейроны.
Более глубокое исследование предполагает, что эти нейроны не просто срабатывают или не срабатывают, учитывая их непосредственный вклад. Скорее, они интегрируют входные данные в течение десятков миллисекунд. Дендриты (входные структуры нейронов), по-видимому, выполняют значительную обработку сами по себе, используя информацию о пространстве (где поступил вход), а также о времени (когда поступил каждый вход). Каждый нейрон, по словам авторов, сам по себе является “сложной вычислительной единицей".
На самом деле, вместо того, чтобы думать, что мозг работает как сеть глубокого обучения, было бы правильнее считать, что многие из 10 миллиардов нейронов мозга являются глубокими сетями с пятью-восемью слоями в каждом. Если это правда, это означало бы, что вычислительные возможности мозга намного больше, чем мы думали, и что моделирование мозга на биологическом уровне потребует ошеломляюще больших вычислительных ресурсов. (Это плохая новость для таких ученых, как я, которые надеются смоделировать человеческий разум на машинах, чтобы лучше их понять.)
Нет худа без добра в том, что, какими бы сложными ни были сети глубокого обучения, они с вычислительной точки зрения более эффективны, чем более подробное описание, данное уравнениями в частных производных, тысячи из которых необходимо решить для каждого нейрона. Нейронная сеть примерно в 2000 раз быстрее вычисляется, и будущие проекты глубокого обучения, вероятно, сделают это еще быстрее.
Джим Дэвис-профессор кафедры когнитивных наук Карлтонского университета. Он является соведущим отмеченного наградами подкаста "Забота о мозге".
#искусственный интелект #мозг человека #вычислительная техника
Источник: https://nautil.us/blog
