Мозг выполняет интеллектуальные задачи с чрезвычайно низким энергопотреблением. Эта работа черпает вдохновение в двух стратегиях, используемых мозгом для достижения такой энергоэффективности:
- отсутствие разделения между вычислительными функциями памяти
- зависимость от низкоточных вычислений.
Появление резистивных технологий памяти действительно дает возможность плотно интегрировать логику и память в аппаратное обеспечение. Параллельно, недавно предложенная концепция Бинаризованной Нейронной Сети, где умножения заменяются эксклюзивными логическими воротами NOR (XNOR), предлагает способ реализации искусственного интеллекта с использованием вычислений с очень низкой точностью.
В этой работе предлагается стратегия реализации низкоэнергетических Бинаризированных Нейронных Сетей, которая использует концепции, вдохновленные мозгом, сохраняя при этом энергетические преимущества цифровой электроники. Мы проектируем, изготовляем и тестируем массив памяти, включая периферию и чувствительные цепи, оптимизированный для этой схемы вычислений in-memory.
В нашей схеме используется резистивная память оксида гафния, интегрированная в задней части 130-нм КМОП-процесса, в двухтранзисторной двухрезисторной ячейке, что позволяет выполнять эксклюзивные операции NOR нейронной сети непосредственно в усилителях чувств. На основе обширных электрических измерений мы показываем, что наша конструкция позволяет снизить количество битовых ошибок на синаптических весах без использования формальных кодов коррекции ошибок. Мы проектируем целую систему, используя этот массив памяти. На стандартных задачах машинного обучения (MNIST, CIFAR-10, ImageNet и задача ЭКГ) мы показываем, что системе присуща устойчивость к битовым ошибкам. Мы демонстрируем, что ее энергопотребление привлекательно по сравнению с более стандартными подходами, и что она может использовать устройства памяти в режимах, где они демонстрируют особенно низкое энергопотребление при программировании и высокую выносливость. Мы завершаем работу обсуждением того, как она ассоциирует биологически правдоподобные идеи с более традиционными концепциями цифровой электроники.
Введение
Благодаря прогрессу, достигнутому в области глубокого обучения, искусственный интеллект в последние годы добился огромных успехов. Однако потребление энергии графическими или центральными процессорами (GPU и CPU) остается серьезной проблемой, ограничивающей его использование на границе и ставящей вопрос об устойчивости крупномасштабных служб, основанных на искусственном интеллекте. Мозги, напротив, справляются с интеллектуальными задачами при значительном снижении энергопотребления. Одним из ключевых различий между GPU и CPU, с одной стороны, и мозгом, с другой, является то, как они работают с памятью. В GPU и CPU память и арифметические единицы разделены как физически, так и концептуально. В алгоритмах искусственного интеллекта, требующих большого объема доступа к памяти, значительно больше энергии тратится на перемещение данных между логикой и памятью, чем на реальную арифметику. В мозге, напротив, нейроны, реализующие большую часть арифметики, и синапсы, которые, как полагают, хранят долговременную память, полностью закрашены. Таким образом, основной причиной снижения энергопотребления искусственного интеллекта является имитация этой стратегии и проектирование не-von Neumann систем, где логика и память сливаются.
- Сегодня к этой идее проявляется новый интерес с появлением новых энергонезависимых воспоминаний на основе нанотехнологий, которые компактны и быстры и могут быть встроены в ядро процесса Complementary Metal Oxide Semiconductor (CMOS). Еще одним ключевым различием между процессорами и мозгом является базовая природа вычислений.
GPU и CPU обычно выполняют все нейросетевые вычисления с помощью точной арифметики с плавающей запятой. В мозге большая часть вычислений выполняется аналоговым способом с низкой точностью внутри нейронов, что приводит к асинхронным всплескам в качестве выходного сигнала, который, следовательно, является двоичным.
Вторая идея снижения энергопотребления искусственного интеллекта заключается, таким образом, в проектировании систем, которые работают со значительно меньшей точностью вычислений.
Продолжение...