Искусственные нейронные сети (ИНС) представляют собой основную технологию обработки информации в области искусственного интеллекта и машинного обучения, которые в последние годы достигли заметного прогресса, и ожидается, что они будут все шире использоваться в реальных приложениях. ИНС представляют собой вычислительные модели, имитирующие биологические нейронные сети. Они представлены сетью нейроноподобных вычислительных единиц, соединенных между собой синапсово-подобными взвешенными связями. Сетевые архитектуры ИНС, как правило, подразделяются на питающие сети и рекуррентные сети, выбор которых зависит от типа вычислительной задачи. Нейронные сети Feedforward (FNNs) в основном используются для статической (не временной) обработки данных, так как отдельные входные данные обрабатываются независимо, даже если они даются последовательно. Короче говоря, нейронные сети способны аппроксимировать нелинейные функции ввода-вывода. С другой стороны, рекуррентные нейронные сети (RNN) подходят для динамической (временной) обработки данных, так как они могут встраивать временную зависимость входов в свое динамическое поведение. Другими словами, РСИ способны представлять динамические системы, управляемые последовательными входами, благодаря наличию обратной связи.
Резервные вычисления
Резервные вычисления (RC) первоначально были основаны на RNN и поэтому подходят для обработки временной/последовательной информации. В частности, RC - это единая вычислительная среда, созданная на основе самостоятельно предложенных RNN моделей, таких как сети эхо-состояния и машины жидкостного состояния (LSMs). Правило обучения обратной развёртки (BPDC) для RNNs также считается предшественником RC. Об аналогичных концепциях и моделях в особых случаях сообщалось в более ранних исследованиях, включая модели последовательной ассоциативной памяти, сетевые модели нейронных осцилляторов для обучения движениям рукописного текста, сети контекстной реверберации, состоящие из линейных пороговых единиц для последовательного обучения, кортико-стриатальные модели для контекстно-зависимого обучения последовательностям, и биологические нейросетевые модели для дискриминации временного паттерна.
В RC входные данные трансформируются в пространственно-временные модели в высокоразмерном пространстве с помощью RNN в резервуаре. Затем проводится анализ закономерностей из пространственно-временных моделей. Основной характеристикой RC является то, что входные веса и веса повторяющихся соединений внутри резервуара не обучаются, в то время как только считанные веса обучаются по простому алгоритму обучения, такому как линейная регрессия. Этот простой и быстрый процесс обучения позволяет значительно снизить вычислительные затраты на обучение по сравнению со стандартными RNN, что является основным преимуществом RC. Модели RC успешно применяются для решения многих вычислительных задач, таких как классификация временных паттернов, прогнозирование и генерация. Для повышения вычислительной производительности RC необходимо правильно представлять данные выборки и оптимально проектировать резервуар на основе RNN. Методы получения эффективных резервуаров, обобщенные в работах Лукошевичюса и Ягера (2009), подразделяются на не зависящие от задачи общие руководящие принципы и зависимые от задачи коррекции резервуаров.
Резервуар в РЦ
Роль резервуара в РЦ состоит в нелинейном преобразовании последовательных входов в высокоразмерное пространство, чтобы особенности входов могли быть эффективно считаны простым алгоритмом обучения. Поэтому вместо RNN в качестве резервуаров могут использоваться другие нелинейные динамические системы. В частности, физические РС, использующие резервуары на основе физических явлений, в последнее время вызывают все больший интерес во многих областях исследований. Для реализации РС были предложены различные физические системы, подложки и устройства. Мотивом для физического использования резервуаров является реализация устройств быстрой обработки информации при низких затратах на обучение. При аппаратной реализации нормальных РСН, где обучение необходимо, мы часто опираемся на передовые технологии нейросетевого аппаратного обеспечения и нейроморфного аппаратного обеспечения. Напротив, физическая реализация резервуаров может быть достигнута с использованием различных физических явлений в реальном мире, так как механизм адаптивных изменений для обучения не является необходимым. Фактически, физический РЦ является одним из кандидатов на нестандартные вычислительные парадигмы, основанные на новом аппаратном обеспечении.
