Исследователи из Саратовского университета сделали открытие, которое переворачивает привычные представления: оказалось, что шум не вредит нейросетям, а наоборот — делает их устойчивее и надежнее. Работа поддержана грантом РНФ и программой «Приоритет-2030».
В чем проблема обычных нейросетей?
Сегодня большинство нейросетей работают в цифровой форме — на компьютерах и графических процессорах. Но такие системы требуют много энергии и уперлись в технические ограничения. Альтернатива — аппаратные нейронные сети, где нейроны и связи реализованы прямо на физическом уровне (в электронике).
У них есть проблема: любое физическое устройство подвержено шумам — тепловым возмущениям сигналов. Раньше считалось, что это зло, с которым нужно бороться.
Что сделали саратовские ученые?
Команда под руководством доцента Надежды Семеновой решила проверить, что будет, если не подавлять шум, а наоборот — использовать его при обучении. В экспериментах моделировали белый гауссовский шум, который добавляли либо в сами нейроны, либо в связи между ними.
Нейросети учили распознавать изображения и предсказывать сложные сигналы. Результат оказался неожиданным даже для самих исследователей.
Какой результат?
Выяснилось, что если "шуметь" на сеть во время обучения, то потом, в реальной работе, она становится устойчивой к помехам. Даже если параметры воздействия подобраны не идеально, эффект сохраняется.
Руководитель исследования Надежда Семенова призналась: "Для нас было большой неожиданностью, что добавление шума в процессе обучения — это уже способ борьбы с шумом".
Чем это отличается от старых методов?
В программных нейросетях иногда используют шум, чтобы бороться с переобучением. Но там это чисто алгоритмический прием. Новизна саратовского подхода в другом: шум рассматривается как физическая характеристика аппаратной системы.
Ученые первыми системно показали: любую аппаратную сеть нужно обучать с внутренними шумами. Это делает ее практически полностью устойчивой к реальным помехам.
Зачем это нужно?
Работа открывает дорогу к созданию энергоэффективных нейросетевых устройств нового поколения. Такие системы смогут работать в условиях ограниченных ресурсов и будут критически важны для:
- Обработки изображений
- Анализа сигналов
- Автономных вычислений
Сейчас коллектив планирует проверить эффект на более сложных спайковых нейронных сетях. Главный вывод исследования звучит почти философски: если от шума нельзя избавиться, его можно превратить из врага в союзника.