Ученые Технологического университета Граца и Intel использовали нейроморфные чипы для создания искусственной нейронной сети, которая потребляет в 4-16 раз меньше энергии, чем нейросети на обычном вычислительном оборудовании. Такая сеть способна к долговременному запоминанию информации для поиска отношений между объектами. Результаты исследования опубликованы в журнале Nature Machine Intelligence.
Потребление энергии является основным препятствием для широкого применения искусственного интеллекта, использующего глубокие нейронные сети (ГНС). В то же время общее энергопотребление сложных нейронных сетей биологического мозга составляет всего 20 Вт. Для решения этой проблемы ученые создают нейроморфные чипы, которые имитируют работу биологических нейронов, генерирующих волны возбуждения — спайки или потенциал действия — несколько раз в секунду. Это отличает их от блоков типичной ГНС, которые производят сигналы гораздо чаще. С другой стороны, оставалось неясным, как с помощью спайковых нейроморфных чипов можно реализовать так называемую долгую краткосрочную память.
Модуль долгой краткосрочной памяти (англ. Long short-term memory, LSTM) — это разновидность искусственных нейронных сетей, которая способна к долговременному запоминанию информации. Такие модули используются для создания реляционных сетей (англ. relation network) — структур нейронных сетей, которые определяют отношения между объектами, например, пространственные отношения на изображениях. Исследователи показали, что спайковые нейронные сети могут быть наделены свойствами LSTM, если воспроизвести характерную черту биологических нейронов: способность к генерации медленно меняющихся внутренних токов.Так, медленная постгиперполяризация нейрона (sAHP), когда изменяется разность потенциалов между внутренней и внешней сторонами клеточной мембраны, происходит после прохождения спайка и блокирует повторное срабатывание нейронов. В нейробиологии это явление называют адаптацией частоты спайков (англ. spike frequency adaptation). Специалисты Института Аллена (США) показали, что значительное количество нейронов в неокортексе (более 30 процентов возбуждающих нейронов в лобной доле человека) проявляют адаптацию к частоте спайков, то есть это важное свойство биологического мозга.
Оказалось, что способные к sAHP нейроны не только снижают энергопотребление, но также представляют собой подходящую альтернативу LSTM-модулям, способную решать задачи обработки последовательностей и самообучаться. Такие нейроны позволяют создать сеть без разделения на блоки вычислений и рабочей памяти, то есть вычисления производятся в самой памяти, уменьшая задержку и потребление энергии.
В качестве примера ученые реализовали реляционную сеть RelNet на базе нейроморфного процессора Loihi от Intel, способного имитировать sAHP. Спайковая RelNet была распределена по 2308 нейроядрам на 22 чипах процессора, что позволило значительно повысить энергоэффективность по сравнению с графическими процессорами даже с учетом ограничения синаптических связей в нейроядрах Loihi. В будущем спайковое нейроморфное оборудование может открыть путь моделированию нейронных сетей мозга со значительно большей скоростью и с меньшими затратами энергии, чем это возможно в настоящее время.