Исследователи университета Карнеги Меллон разработали оптический микрофон, который позволяет "увидеть" звук и выделить звучание отдельного инструмента или устройства даже в условиях, когда много источников звучат одновременно.
Даже самые чуткие, направленные микрофоны не могут устранить окружающий шум. Система, разработанная в Институте робототехники Школы компьютерных наук (RI) университета Карнеги Меллон, использует две камеры и лазер для съемки вибраций источника звука. По этим вибрациям можно восстановить звук в точности от одного источника, каким бы высоким ни был уровень окружающего шума.
Команда провела несколько успешных демонстраций эффективности своей системы. Ученые изолировали звук каждой из двух гитар, играющих дуэтом, и отдельных динамиков, играющих разную музыку одновременно.
При этом звук не записывался, только - видео.
Оптический микрофон работает следующим образом. Лазер направляется на поверхность объекта, производящего вибрации, например, на корпус гитары. Луч отражается от шероховатой поверхности, и камеры его фиксируют, как вибрацию поверхности. Съемка идет двумя камерами: одна - со сканирующим затвором, который пробегает поверхность строчку за строчкой, другая - с центральным затвором, который снимает всю картинку сразу. По разнице между двумя видео и восстанавливается звук.
Система с двумя обычными камерами может улавливать вибрации движущихся объектов, например, движения гитары, когда музыкант играет на ней, и одновременно улавливать отдельные звуки, идущие из нескольких разных точек.
Ученые отмечают: «Эта система раздвигает границы того, что можно сделать с помощью компьютерного зрения. Это новый механизм для захвата очень малых вибраций».
Где это необходимо
Конечно, пока трудно предположить, где можно использовать оптические микрофоны. Но по крайне мере, два приложения ученые назвали сразу. Такой метод позволит звукорежиссерам контролировать музыку отдельных инструментов в звучащем ансамбле, чтобы точно настроить общее звучание.
Кроме того есть и промышленное применение. Представьте себе огромный заводской цех. В нем сотни станков и устройств. Все они чуть-чуть вибрируют и звучат. Это нормально. И это огромный оркестр. Оптический микрофон постоянно слушает каждое устройство. Как только уровень вибрации устройства выходит за допустимые границы, прибор подает сигнал о возможном сбое и указывает на устройство, которое сбоит.