Энергоэффективный чип под названием NeuRRAM исправляет старую ошибку конструкции, позволяя запускать крупномасштабные алгоритмы искусственного интеллекта на более мелких устройствах, достигая той же точности, что и расточительные цифровые компьютеры.
Революция в искусственном интеллекте
Алгоритмы искусственного интеллекта не могут продолжать расти в своем текущем темпе. Алгоритмы, такие как глубокие нейронные сети, которые вдохновлены мозгом, с несколькими слоями искусственных нейронов, связанных друг с другом с помощью числовых значений, называемых весами, становятся все больше с каждым годом. Но в наши дни улучшения аппаратного обеспечения больше не идут в ногу с огромным количеством памяти и вычислительной мощности, требуемых для запуска этих массивных алгоритмов. Вскоре размер алгоритмов искусственного интеллекта может достигнуть предела.
И даже если мы сможем продолжать наращивать аппаратное обеспечение для удовлетворения требований ИИ, есть еще одна проблема: их запуск на традиционных компьютерах приводит к огромному расходу энергии. Высокие выбросы углерода, генерируемые при запуске больших алгоритмов ИИ, уже вредны для окружающей среды, и они будут только усугубляться по мере того, как алгоритмы будут становиться все более гигантскими.
Одно из решений, называемое нейроморфным вычислением, берет вдохновение из биологического мозга, для создания энергоэффективных конструкций. К сожалению, хоть эти чипы и могут опережать цифровые компьютеры в экономии энергии, но они не обладают вычислительной мощностью, которая необходима для запуска крупной глубокой нейроннй сети. Именно по этой причине, данные нейроморфные вычисления, стали "игнорируемыми" для исследователей искусственного интеллекта.
В августе 2022 года исследователи представили новый нейроморфный чип под названием NeuRRAM, который включает около 3 миллионов ячеек памяти и тысячи нейронов, встроенных в его аппаратное обеспечение для выполнения алгоритмов. Он использует относительно новый тип памяти под названием резистивная RAM, или RRAM. В отличие от предыдущих RRAM-чипов, NeuRRAM запрограммирован работать в аналоговом режиме для экономии энергии и пространства. В то время как цифровая память является двоичной, то есть хранит либо 1, либо 0. Аналоговые ячейки памяти в чипе NeuRRAM могут хранить несколько значений вдоль непрерывного диапазона. Это позволяет чипу выполнять многие вычисления матриц параллельно, что значительно повышает эффективность по сравнению с цифровыми версиями обработки.
В результате новый чип, разработанный исследователями, может выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и речи, с такой же эффективностью, как и традиционные цифровые компьютеры. Более того, он потребляет до 1000 раз меньше энергии. Это открытие открывает новые возможности для использования искусственного интеллекта в небольших устройствах, таких как умные часы и телефоны, которые ранее были слишком энергоемкими для этого.
Исследователи, не участвующие в работе, были сильно впечатлены результатами.
«Эта статья довольно уникальна», — сказал Zhongrui Wang, давний исследователь RRAM в Университете Гонконга.
«Он вносит вклады на разных уровнях — на уровне устройства, на уровне схемы архитектуры и на уровне алгоритма».
Создание новых воспоминаний
В цифровых компьютерах огромные количества энергии, которые они тратят во время работы алгоритмов искусственного интеллекта, вызваны простой и распространенной неисправностью архитектуры, которая делает каждое вычисление неэффективным. Обычно память компьютера - которая хранит данные и числовые значения, которые она обрабатывает во время вычисления - размещается на материнской плате вдали от процессора, где выполняется вычисление.
Для информации, протекающей через процессор,
"это похоже на то, как вы тратите восемь часов на поездку, но работаете два часа", - сказал Ван, компьютерный ученый, ранее работавший в Стэнфордском университете.
Исправление этой проблемы с помощью новых, "все-в-одном" чипов, которые размещают память и вычисление в одном месте, кажется простым. Это также ближе к тому, как наш мозг, вероятно, обрабатывает информацию, поскольку многие нейрофизиологи считают, что вычисления происходят в популяциях нейронов, а воспоминания формируются, когда синапсы между нейронами усиливаются или ослабевают. Но создание таких устройств оказалось сложным, поскольку существующие формы памяти несовместимы с технологией в процессорах.
Компьютерные ученые десятилетиями разрабатывали материалы для создания новых чипов, которые выполняют вычисления в месте хранения памяти - технология, известная как вычисление в памяти. Но с традиционными цифровыми компьютерами, "работающими хорошо", эти идеи были проигнорированы на протяжении десятилетий.
"Эта работа, как и большинство научных работ, была отчасти забыта", - сказал Вонг, профессор Стэнфордского университета.
Действительно, первый такой прибор относится к 1964 году, когда инженеры-электрики из Стэнфордского университета обнаружили, что они могут манипулировать определенными материалами, называемыми металлическими оксидами, чтобы включить и выключить их способность проводить электричество. Это важно, потому что способность материала переключаться между двумя состояниями составляет основу традиционной памяти. Как правило, в цифровой памяти состояние высокого напряжения соответствует 1, а низкое напряжение - 0.
Чтобы заставить устройство RRAM переключиться в состояние, вы прикладываете напряжение к металлическим электродам, подключенным к двум концам оксида металла. Обычно металлические оксиды являются изоляторами, что означает, что они не проводят электричество. Но при достаточном напряжении ток накапливается, в конечном итоге прорываясь через слабые места материала и создавая путь к электроду на другой стороне. Как только ток пробьется, он может свободно течь по этому пути.
Вонг сравнивает этот процесс с молнией: когда внутри облака накапливается достаточно заряда, оно быстро находит низкоомный путь и ударяет молния. Но в отличие от молнии, чей путь исчезает, путь через оксид металла остается, что означает, что он становится электропроводным бесконечное количество времени. И можно стереть проводящий путь, приложив другое напряжение к материалу. Поэтому исследователи могут переключать RRAM между двумя состояниями и использовать их для хранения цифровой памяти.
Исследователи середины века не осознавали потенциала энергоэффективного вычисления, им это не было нужно из-за более мелких алгоритмов, с которыми они работали. Лишь в начале 2000-х годов, с открытием новых металлооксидов, исследователи осознали возможности.
Вонг, который тогда работал в IBM, вспоминает, что его коллега, получивший награду за работу над RRAM, признался, что он не полностью понимает физику, которая при этом задействована.
"Если он этого не понимает", - вспоминает Вонг, думая, "возможно, мне не стоит пытаться это понять".
Но в 2004 году исследователи из Samsung Electronics объявили, что успешно интегрировали память RRAM, построенную поверх традиционного вычислительного чипа, что наводит на мысль, что чип с вычислением в памяти, наконец-то, может быть возможным. Вонг решил попробовать.
Чипы для вычисления в памяти для ИИ
В течение десятилетия, исследователи, такие как Вонг, работали над развитием технологии RRAM до такой степени, что она могла бы надежно справляться с высокопроизводительными вычислительными задачами. В 2015 году, компьютерные ученые начали осознавать огромный потенциал этих энергоэффективных устройств для больших алгоритмов ИИ, которые только начали набирать обороты. В том же году ученые из Калифорнийского университета в Санта-Барбаре показали, что устройства RRAM способны на нечто больше, чем просто хранить память новым способом. Они могли выполнять базовые вычислительные задачи самостоятельно - включая подавляющее большинство вычислений, происходящих внутри искусственных нейронов нейронной сети, которые являются простыми задачами умножения матриц.
На чипе NeuRRAM кремниевые нейроны встроены в аппаратное обеспечение, а ячейки памяти RRAM хранят веса - значения, представляющие силу связей между нейронами. И поскольку ячейки памяти NeuRRAM являются аналоговыми, хранимые ими веса представляют полный диапазон состояний сопротивления, которые возникают при переключении устройства с состояния низкого сопротивления на состояние высокого сопротивления. Это позволяет достичь даже более высокой энергоэффективности, чем может обеспечить цифровая память RRAM, поскольку чип может выполнять многие операции умножения матриц параллельно - вместо того, чтобы выполнять их пошагово, как в цифровых версиях обработки.
Однако, поскольку аналоговая обработка все еще на десятилетия отстает от цифровой обработки, есть еще много проблем, которые необходимо решить. Одна из них заключается в том, что аналоговые чипы RRAM должны быть необычайно точными, так как дефекты на физическом чипе могут вносить вариативность и шум. (Для традиционных чипов с двумя состояниями эти дефекты не имеют столь большого значения.) Это значительно затрудняет использование аналоговых устройств RRAM для выполнения алгоритмов ИИ. Например, распознавания изображения ИИ, будет ухудшатся, если проводящее состояние устройства RRAM не будет физически видоизменятся.
"Когда мы смотрим на путь молнии, каждый раз он отличается", - сказал Вонг. "Таким образом, в результате этого RRAM проявляет определенную степень стохастичности (случайности) - каждый раз, когда вы их программируете, они немного отличаются."
Вонг и его коллеги доказали, что устройства RRAM могут хранить непрерывные веса ИИ и при этом быть такими же точными, как и цифровые компьютеры, если алгоритмы обучены привыкать к шуму, который они встречают на чипе, - это достижение, которое позволило им произвести чип NeuRRAM.
Еще одной серьезной проблемой, которую им пришлось решить, была гибкость, необходимая для поддержки различных нейронных сетей. В прошлом дизайнеры чипов должны были выстраивать крошечные устройства RRAM в одном месте рядом с более крупными кремниевыми нейронами. Устройства RRAM и нейроны были жестко запрограммированы без возможности перепрограммирования, поэтому вычисления могли выполняться только в одном направлении. Для поддержки нейронных сетей с двусторонней вычислительной мощностью, требовались дополнительные провода и цепи, что увеличивало требования к энергии и пространству.
Поэтому команда Вонга разработала новую архитектуру чипа, в которой ячейки памяти RRAM и кремниевые нейроны были смешаны вместе. Это небольшое изменение в дизайне уменьшило общую площадь и сэкономило энергию.
"Я подумал, [устройство] было действительно красивым", - сказал Мелика Пайванд, исследователь нейроморфизма в Швейцарской федеральной политехнической школе Цюриха. "Я определенно считаю это новаторской работой."
В течение нескольких лет команда Вонга работала с коллегами над проектированием, производством, тестированием, калибровкой и запуском алгоритмов ИИ на чипе NeuRRAM. Они рассматривали возможность использования других возникающих типов памяти, которые также могут быть использованы в чипе для вычисления в памяти, но RRAM имел преимущество благодаря возможности аналогового программировании и относительной легкости интеграции с традиционными материалами для вычислений.
Их недавние результаты представляют собой первый чип RRAM, который может выполнять такие большие и сложные алгоритмы ИИ - подвиг, который ранее был возможен только в теоретических симуляциях.
"Когда дело доходит до реального кремния, эта возможность отсутствовала", - сказал Ануп Дас, компьютерный ученый из Drexel University. "Эта работа является первым демонстрационным".
"Цифровые системы ИИ являются гибкими и точными, но на порядок менее эффективны", - сказал Каувенбергс. Теперь, сказал Каувенбергс, их гибкий, точный и энергоэффективный аналоговый чип RRAM "впервые преодолел разрыв".
Масштабирование
Дизайн команды сохраняет чип NeuRRAM крошечным - размером с ноготь - при сжатии 3 миллионов устройств памяти RRAM, которые могут служить аналоговыми процессорами. И хотя он может работать с нейронными сетями так же хорошо, как и цифровые компьютеры, чип, может выполнять алгоритмы, выполняющие вычисления в разных направлениях. Их чип может подавать напряжение на строки массива RRAM и считывать выходные данные из столбцов, как это обычно делается для чипов RRAM, но он также может делать это в обратном направлении от столбцов к строкам, поэтому он может быть использован в нейронных сетях, которые работают с данными, протекающими в разных направлениях.
Как и технология RRAM сама по себе, это было возможно уже давно, но никто не думал об этом.
«Почему мы не думали об этом раньше?» спросил Пайванд. «Оглядываясь назад, я не знаю».
“Это действительно открывает много других возможностей,” сказал Дас.
В качестве примеров он упомянул возможность простой системы для работы с огромными алгоритмами, необходимыми для многомерных физических симуляций или самоуправляемых автомобилей.
Однако размер является проблемой. Самые большие нейронные сети сейчас весят миллиарды гигабайт, а не миллионы, содержащихся в новых чипах. Вонг планирует масштабироваться путем наложения нескольких чипов NeuRRAM друг на друга.
Не менее важно будет поддерживать низкие энергозатраты в будущих устройствах или еще сильнее их уменьшать. Один из способов добиться этого - копировать мозг как можно ближе к реальному, чтобы принять сигнал связи, используемый между реальными нейронами - электрический скачок. Это сигнал, который передается от одного нейрона к другому, когда разница в напряжении между внутренней и внешней частями клетки достигает критического порога.
“В этом есть большие проблемы”, - сказал Тони Кеньон, исследователь нанотехнологий в Университетском колледже Лондона. “Но мы все равно могли бы двигаться в этом направлении, потому что … есть вероятность, что у вас будет большая энергоэффективность, если вы используете очень редкие всплески.” Чтобы запустить алгоритмы, которые вспыхивают на текущем чипе NeuRRAM, вероятно потребуется совершенно другая архитектура, отметил Кеньон.
На данный момент, энергоэффективность, которую команда достигла при работе с большими алгоритмами ИИ на чипе NeuRRAM, создала новую надежду на то, что технологии памяти могут представлять будущее вычислений с использованием ИИ. Может быть, однажды мы даже сможем сопоставить 86 миллиардов нейронов человеческого мозга и триллионы синапсов, которые их соединяют, не тратя при этом энергию.
