- В последние годы были проведены значительные исследования по внедрению нейронных сетей, использующих аналоговые резистивные запоминающие устройства в качестве синапсов - проводников устройства, реализующих синаптические веса.
В значительной степени расчеты нейронных сетей могут быть выполнены с использованием аналоговой электроники: умножение веса/нейрона выполняется по закону Ома, а добавление встроено в действующий закон Кирхгоффа.
Этот тип осуществления в определенной степени является весьма биологически правдоподобным, поскольку он воспроизводит две стратегии, упомянутые выше. Проблема такой реализации, однако, заключается в том, что она требует относительно тяжелых аналоговых или смешанных сигнальных КМОП-схем, таких как операционные усилители или аналого-цифровые преобразователи, что приводит к значительным накладным расходам площади и энергии.
Параллельно с этим недавно был предложен новый класс нейронных сетей - Бинаризованные нейронные сети (или близко связанные XNOR-NET).
В этих нейронных сетях, после обучения, синапсы, как и нейроны, предполагают только двоичные значения, означающие +1 или -1. Таким образом, эти нейронные сети имеют ограниченные требования к памяти, а также полагаются на сильно упрощенную арифметику. В частности, умножения заменяются одноразрядными эксклюзивными операциями NOR (XNOR). Тем не менее, Бинаризованные нейронные сети могут достичь почти современного состояния производительности на видение задач и, следовательно, чрезвычайно привлекательны для реализации аппаратных умозаключений. Низкая точность бинаризованных нейронных сетей и, в частности, бинарная природа нейронов, напоминающая биологические нейроны "шипы", также придает им биологическую правдоподобность: их действительно можно рассматривать как упрощение нейронных сетей "шипы".
Большие усилия были направлены на разработку аппаратных реализаций Бинаризованных нейронных сетей.
Используя наноустройства, одной из естественных интуиций было бы принятие стратегии, предложенной для обычных нейросетей, и проведение арифметики аналоговым способом с использованием закона Кирхгоффа. Однако бинаризированные нейронные сети имеют очень цифровую природу и не требуют умножения. Таким образом, эти сети могут дать возможность извлечь выгоду, в то же время, как из идей биоэнергетики, так и из достижений закона Мура и цифровой электроники. В этой работе мы предлагаем полностью цифровую реализацию бинаризированных нейронных сетей, включающих КМОП и наноустройства, и реализацию биологических концепций плотной памяти и логической интеграции, а также низкоточных вычислений. В качестве наноустройств памяти мы используем резистивную память случайного доступа на основе оксида гафния (OxRAM) - компактную и быструю энергонезависимую ячейку памяти, полностью совместимую с КМОП-процессом.
Однако одной из серьезных проблем при реализации цифровой системы с наноустройствами памяти является присущая им изменчивость, которая приводит к битовым ошибкам. Для решения этой проблемы в традиционных приложениях памяти используются многочисленные коды коррекции ошибок (ECCs). Схемы декодирования ECC имеют большую площадь и высокое энергопотребление и добавляют дополнительное время на доступ к данным из-за вычисления и сравнения синдромов. Более того, арифметические операции вычислений с синдромом ошибки на самом деле более сложны, чем операции в Бинаризованной нейронной сети. Данное решение сложно реализовать в условиях, когда память и логика тесно интегрированы, особенно когда часть вычислений выполняется во время зондирования. Это одна из основных причин того, что современное состояние ОЗУ для вычислений in-memory не исправляет ошибки и не совместимо с технологиями с ошибками.
- В этой статье мы представляем наше решение. Мы проектируем, изготовляем и тестируем массив резистивной памяти на основе дифференциальных оксидов, включая все периферийные и чувствительные схемы.
Этот массив, основанный на двухтранзисторной/двухрезисторной (2T2R) битовой ячейке, изначально уменьшает битовые ошибки без использования ECC, и мы показываем, что он особенно хорошо адаптирован для вычислений в памяти.
Затем мы проектируем и моделируем полностью бинаризованную нейронную сеть на основе этого массива памяти. Мы показываем, что операции XNOR могут быть интегрированы непосредственно в сенсорные операции массива памяти, и что полученная система может быть высокоэффективной с точки зрения энергопотребления. Основываясь на нейронных сетях на нескольких наборах данных (MNIST, CIFAR-10, ImageNet и анализ данных ЭКГ), мы оцениваем количество битовых ошибок в памяти, которые могут быть допустимы системой.