Глубокие нейронные сети генерируют большую часть интересных достижений, связанных с генеративным ИИ. Однако их архитектура опирается на конфигурацию, которая является виртуальным тормозом, не позволяющим достичь максимальной эффективности.
Нейронные сети предъявляют высокие требования к системным ресурсам для обмена данными между двумя компонентами,(аналоговой и цифровой ) что приводит к снижению скорости и эффективности работы.
IBM Research предложила более эффективную идею, обратившись за вдохновением для создания более эффективного "цифрового мозга" к идеальной модели - это человеческому мозгу.
В статье "64-ядерный вычислительный чип со смешанными сигналами в памяти на основе памяти с фазовым сдвигом для глубоких нейронных сетей", опубликованной в журнале Nature Electronics 10 августа, исследователи IBM заявили, что применили новый подход к созданию современного чипа со смешанными сигналами для ИИ, который обещает повысить эффективность и снизить расход батареи в проектах ИИ.
"Человеческий мозг способен достигать поразительной производительности, потребляя при этом мало энергии, - сказал один из соавторов исследования Танос Василопулос (Thanos Vasilopoulos) из исследовательской лаборатории IBM в Цюрихе (Швейцария).
По аналогии с взаимодействием синапсов в мозге, разработанная IBM микросхема имеет 64 аналоговых ядра в памяти, каждое из которых содержит массив синаптических клеток. Преобразователи обеспечивают плавные переходы между аналоговым и цифровым состояниями.
По данным IBM, чипы достигли 92,81% точности на наборе данных CIFAR-10 - широко распространенной коллекции изображений, используемых для обучения машинному обучению.
"Мы демонстрируем практически программно эквивалентную точность выводов с помощью ResNet и сетей с долговременной кратковременной памятью", - сказал Василопулос. ResNet, сокращение от residual neural network, - это модель глубокого обучения, которая позволяет обучать тысячи слоев нейронной сети без снижения производительности.
"Для достижения сквозного улучшения задержек и энергопотребления необходимо сочетать AIMC с цифровыми операциями на кристалле и коммуникациями на кристалле", - заявил Василопулос. "Здесь мы представляем многоядерный чип AIMC, разработанный и изготовленный по 14 нм комплементарной металлооксидно-полупроводниковой технологии с интегрированной в заднюю стенку фазообменной памятью".
По словам Василопулоса, с такой улучшенной производительностью "большие и более сложные рабочие нагрузки могут выполняться в условиях низкого энергопотребления или нехватки батарей". К ним относятся мобильные телефоны, автомобили и фотоаппараты.
"Кроме того, облачные провайдеры смогут использовать эти чипы для снижения затрат на электроэнергию и сокращения выбросов углекислого газа", - сказал он.
По мнению IBM, благодаря будущим усовершенствованиям цифровых схем, позволяющим передавать активацию между слоями и хранить промежуточные активации в локальной памяти, на этих чипах можно будет выполнять полностью конвейеризованные сквозные вычислительные рабочие нагрузки.
В своем личном блоге, посвященном последнему достижению IBM, Василопулос отметил: "Благодаря этой работе многие компоненты, необходимые для полной реализации перспектив Analog-AI, для производительного и энергоэффективного ИИ, прошли кремниевую валидацию".
Технический обзор микросхемы он представил в отдельной статье под названием "Аналоговые вычисления в памяти вступают в пору становления", опубликованной в журнале Electrical and Electronic Engineering 10 августа.
Назвав микросхему "первой в своем роде", он описал ее как "полностью интегрированную смешанно-сигнальную вычислительную микросхему in-memory, основанную на интегрированной фазообменной памяти (PCM), выполненной по 14-нм комплементарному металлооксидно-полупроводниковому (КМОП) техпроцессу".
Давая дальнейшее описание проекта, он отметил: "Чип состоит из 64 ядер AIMC, каждое из которых имеет массив памяти из 256x256 элементарных ячеек. Ячейки построены из четырех PCM-устройств, что в сумме составляет более 16 М устройств. Помимо массива аналоговой памяти, каждое ядро содержит легкий цифровой процессор, выполняющий функции активации, накопления и масштабирования".