Энергия
теплового шума
как топливо
для нейросетей.
Представьте, что вы пытаетесь вести важный разговор в шумном цеху завода. Вам приходится кричать, напрягаться и тратить уйму энергии, чтобы ваши слова были услышаны сквозь грохот станков. Примерно так сегодня работают все наши компьютеры. Хаотичное тепловое движение электронов внутри микросхем — это тот самый «шум цеха», сквозь который пытается пробиться полезный сигнал. И если с акустическим шумом мы уже немного научились справляться применением комплексных решений от ловушек и противофазных излучателей до средств связи со встроенным шумоподавлением, то как быть электронам, проносящим важную весть сквозь хаос собратьев-бездельников?
В идеале, конечно, хорошо бы заставить их замолчать, но это задача, прямо скажем, нереалистичная. А что, если этот грохот использовать? Мы знаем, что любой шум — это не только помеха, но и дешёвая энергия, и, значит, электронный шум может стать дешёвой энергией для вычислений.
Именно эту, на первый взгляд — безумную, идею исследуют учёные из Национальной лаборатории имени Лоуренса в Беркли. Они предлагают концепцию нового подхода к созданию искусственного интеллекта, который потребляет в разы меньше энергии. Речь идёт, ни много ни мало, о термодинамических вычислениях.
«Идея заключается в том, что если взять физическое устройство с энергией, сравнимой с тепловой энергией, и не трогать его, то со временем оно изменит своё состояние под воздействием тепловых флуктуаций, — рассказывает Стивен Уайтлэм, один из авторов статьи. — Цель состоит в том, чтобы запрограммировать его так, чтобы эта временная эволюция приносила пользу. Классические и квантовые вычисления борются с шумами, а термодинамические вычисления используют их энергию».
Cвою идею проектирования и обучения термодинамического компьютера, имитирующего энергоэффективную нейросеть, исследователи представили в журнале Nature Communications.
В чём дело.
В основе работы любой электроники лежит движение электронов: чем выше температура, тем активнее их вибрации и столкновения. Будучи упорядоченным, условно говоря, оно выполняет полезную работу устройства (допустим, компьютера). А вот неиспользуемые в этой работе собственные колебания частиц создают помехи — тот хаос, который называют тепловым шумом. К примеру, чтобы транзистор надёжно работал, сигнал («включено» или «выключено») должен быть в тысячи раз мощнее этого шума. Именно из-за такой «кричащей» борьбы с шумом наши устройства потребляют столько энергии. Например, один поисковый запрос в интернете тратит энергии столько же, сколько светодиодная лампочка за несколько минут.
Самое интересное в том, что термодинамический подход переворачивает эту логику с ног на голову. Учёные предлагают создавать устройства, энергия работы которых сравнима с энергией теплового шума. В таких условиях чип самопроизвольно меняет своё состояние под действием тепловых флуктуаций. Задача инженеров — не подавлять эти изменения, а направить их в нужное русло, как дрессировщик направляет энергию своенравного зверя.
Как научить хаос думать?
Главная проблема заключалась в том, что раньше термодинамические компьютеры работали только в состоянии покоя (равновесия) и подвластны им были лишь задачи линейной алгебры. Это как в вопросах с погодой: мы вполне можем мириться с необходимостью переждать шторм на море, чтобы заняться плаванием, но в сфере вычислений такие задержки — это слишком долго и неопределённо.
Исследователи нашли элегантное решение в виде использования нелинейных компонентов: если вычислитель (искусственный нейрон) ведёт себя не как простая прямая линия, а как сложная волна, то его можно заставить работать в любой момент времени, не дожидаясь затишья. Это позволяет создать «термодинамический нейрон», который ведёт себя так же, как его собрат в обычной нейросети. Соединив такие элементы в сеть, мы получаем компьютер, способный решать сложные задачи машинного обучения, используя тепловой шум как топливо.
Эволюция.
Однако из-за постоянного влияния шума одна и та же операция на таком чипе будет проходить по-разному каждый раз. И как же тогда обучить столь странную систему? Обычные методы здесь не сработают.
На суперкомпьютере Perlmutter был запущен масштабный эксперимент с применением генетического алгоритма, работающего по принципу естественного отбора. Давайте представим разные конфигурации термодинамических нейросетей как микробов, которые пытаются решить задачу. В течение множества запусков компьютера параметры самых успешных из них смешивались с другими с добавлением случайных мутаций, и процесс повторялся. Таким образом, перебрав более триллиона вариантов, алгоритм нашёл идеальную архитектуру будущего термодинамического чипа.
Да, сам процесс обучения на суперкомпьютере оказался просто чудовищно энергозатратным, но это разовая инвестиция. Полученный в результате чип после сборки сможет работать, потребляя энергию теплового шума, то есть почти ничего. Кроме того, мы получили наглядную демонстрацию того, как абстрактные идеи теории хаоса (нелинейность, неравновесность) можно воплотить в конкретном и невероятно энергоэффективном железе.
Что дальше?
Пока термодинамические вычисления — это молодая, многообещающая область. Учёные доказали, что концепция работает в теории. Теперь перед ними стоит задача построить реальное работающее устройство и разработать для него новые алгоритмы, выходящие за рамки простых математических задач.
Если им это удастся, мы получим компьютеры, которые смогут выполнять сложнейшие задачи ИИ, потребляя энергии не больше, чем карманный калькулятор. Это открывает дорогу для повсеместного внедрения «умных» технологий — от носимых датчиков до промышленных систем, которые больше не будут нуждаться в мощных батареях и массивном охлаждении. Возможно, будущее вычислений — это не тишина идеального вакуума, а управляемый шум, на котором строится новый цифровой мир.