Французская компания Prophesee объединилась с американской Qualcomm для разработки нового вида сенсора изображения, который даст возможность смартфонам значительно улучшить качество мобильной съемки.
Qualcomm будет использовать технологию Prophesee в своих чипах. Эта технология будет работать во время съёмки, чтобы обеспечивать съемку в момент движений объекта и изменений по свету.
Снять спортивный матч и любое действие, которое происходит с большой скоростью, на телефоны сегодня довольно сложно без эффекта размытия при движении. Съёмка при плохом освещении на смартфон также часто даёт такое размытые изображения. Парижский стартап заявляет, что они смогли решить эту проблему, анализируя изменения в сцене по пикселям.
Идея состоит в том, чтобы уменьшить энергозатраты, задержку и обработку данных, которые нужны для того, чтобы обычные сенсоры обрабатывали ненужные пиксели. Датчики и алгоритмы Metavision от Prophesee должны подражать работе человеческого глаза и мозга, чтобы убрать размытие и артефакты изображения. В датчик Metavision встроено логическое ядро, которое позволяет ему вести себя как нейрон.
Компания Prophesee называет каждый пиксель, который срабатывает при этом, «событием». Когда пиксели срабатывают, они умно и асинхронно определяют количество фотонов в зависимости от динамики сцены. Чтобы избежать размытия, датчик на основе «событий» синхронизируется с по кадровым захватом изображения и «заполняет пробелы между кадрами и внутри них микросекундными событиями, чтобы алгоритмически извлечь чистую информацию о движении и убрать размытие».
Этот процесс сосредотачивается только на изменениях в сцене с очень высокой скоростью. Он не занимается обработкой или компоновкой, поскольку пропускает пиксели, которые не демонстрируют никакого движения, чтобы не мешать тому, как датчик изображения внутри смартфона фиксирует изображение.
В итоге должно получиться качественное изображение, которое замораживает движение, но при этом не требует ни одного программного расчёта от телефона.
Неизвестно, будет ли эта технология работать со всеми фотографиями, сделанными в приложении камеры, включая ручную съёмку, съёмку с высоким разрешением и RAW-изображения, или же она потребует от телефонов включать её в определённом режиме. Prophesee сообщают, что они выпустят девкит (комплект для разработки программного обеспечения), совместимый с её сенсорными технологиями в 2023 году. Поэтому устройства на основе этой технологии могут появиться уже в будущем году.
Также напомню, что компания Canon официально объявила о разработке своего нового сенсора оптического формата 1 дюйм. Он позволит получать изображение с исключительно широким динамическим диапазоном. Вероятнее всего, этот сенсор будет использоваться в промышленных камерах и системах видеонаблюдения, в которых важно высокое качество изображения при плохом освещении.
Следите за новостями в наших социальных сетях: ВКонтакте, Telegram и YouTube