Инженеры из Пенсильванского университета создали чип размером 9,3 мм2, который использует фотонную нейронную сеть для обработки фотоснимков. Ему требуется всего ~ 0,57 нс на обнаружение и классификацию одного изображения — за секунду он может прогнать плюс/минус 2 млн фотокарточек.
В традиционных нейросетях для распознавания изображений, сначала датчик (например, камера) формирует образ целевого объекта. Оптические данные преобразуются в электрический сигнал, а затем в двоичный код, который уже можно обрабатывать на базе компьютерных микросхем. Ограничение скорости таких технологий задается тактовым расписанием процессора, где вычисления происходят одно за другим в линейной последовательности.
Новая разработка устранила четыре основных фактора, отнимающих много времени в традиционном цифровом чипе: преобразование оптических сигналов в электрические, входных данных в двоичный формат, потребность в большом модуле памяти и выполнение вычислений на основе тактов.
Фотонная нейронная сеть обрабатывает оптические волны, падающие на массив пикселей на кристалле, когда они распространяются через слои нейронов. В каждом нейроне линейные вычисления выполняются оптически, а нелинейная функция активации реализуется с помощью оптоэлектроники. Оптические нейроны чипа соединяются между собой с помощью волноводов, оптических проводов. Информация проходит через слои сети — каждый шаг помогает классифицировать входное изображение в одну из категорий.
Ускорение вычислений может стать ключом к улучшению большого количества прикладных решений, таких как система распознавания лиц, автоматическое обнаружение текста на фотографиях или помощь беспилотным автомобилям в идентификации препятствий.
