Ученые впервые показали, что большая нейросеть может работать, потребляя значительно меньше энергии — в диапазоне от четырех до 16 раз. Это удалось проделать благодаря нейроморфному чипу Loihi от Intel Labs, который использует данные нейробиологии для создания устройств, функционирующих подобно мозгу.
Разные устройства могут автономно распознавать объекты и искать взаимосвязи между ними. Но потребление энергии является серьезным препятствием на пути к развитию таких методов. Разработчики считают, что ситуацию могут исправить нейроморфные технологии, которые используют для вычислений логику работы человеческого мозга. Для обработки информации сто миллиардов нейронов потребляют всего около 20 Ватт — сколько же надо средней энергосберегающей лампочке.
В ходе исследований ученые сосредоточились на алгоритмах, которые работают с временными процессами: например, система должна отвечать на вопросы о ранее рассказанной истории и фиксировать отношения между объектами или героями, исходя из контекста. Протестированное оборудование состояло из 32 чипов Loihi — это система оказалась значительно более энергоэффективной, чем другие модели ИИ на традиционном оборудовании.
В своей нейроморфной сети ученые использовали механизм памяти человеческого мозга, который может сохранять информацию в течение короткого периода времени даже без нейронной активности — для этого он использует внутренние переменные нейроны.
Чтобы повторить этот принцип, исследователи использовали два типа сетей глубокого обучения: нейронные сети с обратной связью отвечали за кратковременную память, а рекуррентные модули отфильтровывали релевантную информацию из входного сигнала и сохраняли ее. Затем сеть прямой связи определяла, какие из найденных взаимосвязей важнее всего для решения поставленной задачи. "Бесполезные" данные отсеивались — нейроны срабатывали только в тех модулях, где была найдена соответствующая информация. Этот процесс в конечном итоге и привел к экономии энергии.
