Почему нейросети
будут считать «на пальцах» —
и нам это очень понравится.
Когда наш мозг решает простейшую для него задачу — например, узнать лицо друга в толпе, — он тратит энергии меньше, чем лампочка в холодильнике. Но если это же поручить суперкомпьютеру, понадобится столько энергии, что для охлаждения будет нужна целая система кондиционеров. Причина этой, по большому счёту, главной проблемы современных компьютеров кроется в их архитектуре, разделяющей память и логику на уровне физических устройств. Информации приходится бесконечно метаться туда-обратно по узким шинам данных, создавая подобие «пробок» в трафике и тратя огромное количество энергии и времени.
Инженеры давно ищут способ объединить память и вычисления в одном месте, дабы приблизить продуктивность компьютеров к человеческому мозгу. Решением этой непростой задачи стало создание маленькой конструкции под названием мемристор. Проще всего его можно представить как переменный резистор — ограничивающий ток элемент, — который умеет запоминать, какой ток через него проходил, и менять собственное сопротивление в зависимости от этой «истории». Это идеальный кандидат на роль синапса — места контакта между нейронами в мозге. Если синапс «активируется» — сопротивление падает, — он пропускает сигнал; если нет, и ток не проходит — блокирует.
Однако сочетание столь разных способностей наложило свой негативный отпечаток на функционал этого действительно прорывного элемента электроники. В попытках его усовершенствовать и убрать недочёты, учёные создали несколько видов этих операторов. Так получились более эффективные современные устройства: мемристоры с так называемой аналоговой настройкой, состояние которых можно плавно настраивать между крайними степенями включено-выключено. Они весьма хороши и находят применение, но тем не менее у них тоже есть свой скелет в шкафу в виде плохого удержания заряда. Это означает «быструю забывчивость» устройства, что серьёзно ограничивает их в роли энергонезависимых синаптических узлов в аппаратных нейроморфных сетях.
С другой стороны, существуют и обычные энергонезависимые мемристоры, которые хорошо хранят данные и стали бы отличными узлами нейросети, если бы не столь резко переключались. Эта ограниченность только двумя состояниями (включено или выключено) — тот нюанс, который сказывается на всём функционале системы, требуя включение в схему дополнительных устройств для регулировки тока в мемристоре.
Сочетать эти три качества — продолжительную память, аналоговую гибкость и экономичность — долгое время казалось почти невозможным, но недавно учёным из Мичиганского университета это удалось. Они создали крошечную структуру, похожую на слоёный бутерброд: нижним слоем (условным хлебом) стал электрод из золота (Au); начинкой (маслом) — активный пласт из нескольких слоёв редкого материала селенида висмута (Bi₂Se₃); верхний же слой (колбаса) представлен электродом из титана (Ti).
Всё это изящное решение вылилось в нанометровую конструкцию, которая выглядит как крестообразная решётка, где каждый «крестик» — это отдельный мемристор. Самое интересное обнаружено во время работы устройства — явление, вызванное процессом так называемой электромиграциии: при подаче напряжения от нижнего электрода в слое селенида висмута начинают прорастать золотые нити. Авторы сравнивают их с пальцами, которые тянутся вверх, но — и это ключевой момент! — не касаются верхнего электрода. Это позволяет осуществлять непрерывную аналоговую настройку, имитирующую усиление или ослабление синаптических связей в человеческом мозге.
Благодаря этим «золотым пальцам» инженеры получили возможность плавно регулировать проводимость. Меняя напряжение, можно заставить нити становиться длиннее или короче, увеличивая или уменьшая ток. Это и есть та самая аналоговая настройка — словно вы не просто щёлкаете выключателем, а плавно вращаете диммер, меняя яркость освещения в комнате от 1 до 100%.
В качестве тестового задания для нового устройства была создана система балансира, похожего на качели с противолежащими по краям рычага грузом и пропеллером. Регулируя работу пропеллера, нужно было выравнять положения рычага так, чтобы относительно его основания сохранялся угол в 90º. Всей системой управляла полностью аналоговая аппаратная нейросеть на новом мемристоре.
Обычно для такой задачи нужен микроконтроллер, аналого-цифровой и цифро-аналоговый преобразователи (АЦП и ЦАП соответственно) — это своего рода «переводчики», которые превращают реальные физические сигналы в цифровые единицы и нули (АЦП), а потом обратно (ЦАП). Это довольно сложные и очень энергозатратные процессы.
В итоге новый висмутовый мемристор сделал всю работу без них. Он самостоятельно вычислил, как нужно вращать пропеллер, чтобы удержать балансир в идеальном положении (под углом 90 градусов). А самое впечатляющее при этом, что вся система потребила всего 7 микроватт — в миллион раз меньше, чем потребляет обычная лампочка 8 или 12 Вт.
Чем же нам «грозит» подобная производительность?
Современный ИИ упирается в потолок энергоэффективности. Нейросети становятся всё более «глубокими» и прожорливыми. Мемристоры на основе селенида висмута предлагают не просто выход из этой ситуации, а даже превосходят ожидания разработчиков.
Обнаружено, что в сравнении с предшественниками новинка обладает замечательным сохранением проводимости или, проще говоря, невообразимой памятью: потери данных приближаются к 1% только через 10 000 секунд (более двух с половиной часов) простоя, и при этом данные не стираются даже при отключении питания. Плюс этот маленький «гигант мысли» весьма отзывчив к точной аналоговой настройке проводимости. Он, конечно, не способен имитировать обучение мозга, но диапазон в 10–40% — это очень и очень неплохой показатель гибкости. И, наконец, он прост в эксплуатации: работа без внешних регуляторов тока основательно упрощает проектирование чипов на его основе.
Кроме того, метод производства этих мемристоров совместим с существующими фабриками по выпуску полупроводников. Это значит, что для внедрения технологии не нужно изобретать новых специализированных машин и процессов производства — его можно масштабировать уже сегодня.
Как отмечает профессор машиностроения Сяоган Лян, один из авторов исследования, разработка «открывает новые возможности для создания ключевых компонентов аппаратных нейросетей». Возможно, уже в ближайшем будущем наши смартфоны, ассистенты и умные системы станут не только «умнее», но и будут работать очень экономно — почти также, как наш собственный мозг — без вентиляторов, перегрева и огромных счетов за электричество.