[Рамин Хасани] и его коллега [Матиас Лехнер] работали с новым типом искусственных нейронных сетей под названием Liquid Neural Networks и представили некоторые из интересных результатов на недавней конференции TEDxMIT .
Жидкие нейронные сети созданы на основе биологических нейронов для реализации алгоритмов, которые остаются адаптируемыми даже после обучения. [Хасани] демонстрирует систему машинного зрения, которая управляет автомобилем и сохраняет полосу движения с помощью жидкой нейронной сети. Система работает довольно хорошо, используя всего 19 нейронов, что значительно меньше, чем у типичных больших модельных интеллектуальных систем, которых мы привыкли ожидать. Более того, карта внимания помогает нам визуализировать, что система, похоже, обращает внимание на определенные аспекты поля зрения, очень похоже на поведение водителя-человека.
Типичный закон масштабирования нейронных сетей предполагает, что точность повышается за счет более крупных моделей, то есть большего количества нейронов. Жидкие нейронные сети могут нарушить этот закон, показав, что масштаб — это еще не все. Модель меньшего размера может быть рассчитана более эффективно. Кроме того, компактная модель может улучшить подотчетность, поскольку деятельность по принятию решений легче локализовать внутри сети. Удивительно, но производительность гибких нейронных сетей также может улучшить обобщение, надежность и справедливость.
Жидкая нейронная сеть может реализовывать синаптические веса, используя нелинейные вероятности вместо простых скалярных значений. Синаптические связи и время реакции могут адаптироваться на основе сенсорных сигналов, чтобы более гибко реагировать на возмущения в естественной среде.
Вероятно, нам следует ожидать, что операционный разрыв между биологическими нейронными сетями и искусственными нейронными сетями продолжит сокращаться и стираться.