Не забудьте про мой Телеграм-канал «Другая фаза» (@aiqcnt).
Ну что ж, я обещал рассказать про одну очень мощную модель искусственного нейрона — LSTM-нейрон. Это нейрон с возможностью получения сигналов по обратным связям, что позволяет реализовать некоторый тип памяти.
Итак, Сепп Хохрайтер и Юрген Шмидхубер в 1997 году предложили новый вариант искусственного нейрона, который затем был улучшен Феликсом Герсом в 2000 году. Искусственная нейросеть, составленная из LSTM-нейронов, является универсальной в смысле Тьюринга, то есть при помощи неё можно вычислить любую вычислимую функцию (матрицу весов такой нейросети можно воспринимать как программу). Именно такие нейросети сегодня являются фундаментальной основой для построения решений ведущих компаний, работающих в области Искусственного Интеллекта. Сам же LSTM-нейрон может быть представлен при помощи следующей диаграммы:
Представленные выше диаграммы нарисованы с использованием следующих условных обозначений:
· Обычная стрелка — входные и выходные связи нейрона, поток значений между функциями внутри нейрона.
· Пунктирная стрелка — входные и выходные связи нейрона, поток значений между функциями внутри нейрона с задержкой по времени (на один или более тактов работы нейронной сети).
· Плюс — функция суммирования входных значений.
· Точка — функция перемножения входных значений.
· Чёрный круг — дубликатор потока значений.
· Гейт S — функция активации, обычно представляющая собой сигмоиду.
· Гейт G — функция активации для входного потока, обычно являющаяся гиперболическим тангенсом.
· Гейт H — функция активации для выходного потока, обычно тоже гиперболический тангенс.
· Поток i — результат активации для входного потока.
· Поток z — результат активации для рекуррентного входного потока (обычно с нейронов того же слоя).
· Поток f — результат активации для гейта забывания.
· Поток o — результат активации для выходного потока.
· Поток y — результат работы LSTM-нейрона в целом.
На сегодняшний день, как уже сказано выше, LSTM-нейрон является самой продвинутой моделью биологического нейрона. Однако он всё так же имеет одно важное упущение — нейроны в нервной системе млекопитающих получают информацию не только при помощи передачи электрических импульсов от дендритов через аксоны к следующим нейронам, но ещё используются различные нейромедиаторы в синаптических щелях, а также гуморальное воздействие на весь нейрон в целом. Кроме того, до сих пор не до конца изучена роль глиальных клеток, которых в нервной системе на порядок больше, чем нейронов. Другая сложность, которая проявляется при реализации искусственных нейросетей на LSTM-нейронах, — их относительно высокие требования к вычислительным ресурсам.