Sony разработала интересную новую гибридную технологию: Датчик изображения с системой обработки AI, встроенной в оборудование, что делает его единой интегрированной системой. Преимущества и области применения этой технологии потенциально огромны по мере того, как изображения и код продолжают сливаться воедино.
Идея довольно проста по концепции. Вы берете традиционный CMOS-датчик изображения, который вы найдете сегодня в любом телефоне или камере, и укладываете его на логический чип, который построен не только для извлечения пикселей из датчика, но и для работы с моделью машинного обучения, которая извлекает информацию из этих пикселей.
В результате получается единая электронная сборка, которая может выполнять множество интересных операций по обработке фотографии до того, как эта фотография будет отправлена в другое место, например, на главную логическую плату, GPU или в облако.
Для наглядности, датчики изображения уже имеют сопутствующие процессоры, которые выполняют обычную работу по сортировке пикселей, сжатию их в JPEG и так далее. Но они очень сконцентрированы на выполнении нескольких обычных задач очень быстро.
Чип Sony, как объясняют в компании, способен выполнять более сложные процессы и выводить данные. Например, если экспозиция собаки в поле, чип может сразу же проанализировать ее на предмет наличия объектов, и вместо того, чтобы посылать на полное изображение, просто сообщить "собака", "трава" и все остальное, что она узнает.
