Представьте себя на многолюдной вечеринке: люди, болтовня, звон бокалов, а затем вдруг несколько слов — возможно, упоминание вашего имени — втягивают вас в отдаленный разговор. Два человека, у которых это есть, находятся в нескольких метрах от вас, но когда вы сосредотачиваете на них свое внимание, их слова, кажется, становятся более понятными, более ясными, даже более громкими, возможно, с остальной какофонией, которая тонко исчезает.
Эта способность нашего мозга, изученная в психоакустике, называется эффектом коктейльной вечеринки. Учитывая, насколько это полезно, это был только вопрос времени, пока индустрия смартфонов не эмулировала его, доведя его до наших кончиков пальцев под официальным термином Аудиозум. Вот как Samsung описывает эту функцию:
*при помощи микрофона с зумом вы можете пальцами выделить область на экране во время записи видео для увеличения или уменьшения масштаба, и по мере увеличения звуки объекта, который вы увеличиваете, становятся громче, а окружающие звуки отсекаются. Уменьшите масштаб, и окружающий звук больше не подавляется*
Наряду с Samsung, Apple также оснастила свое последнее устройство, iPhone 11 Pro, этой технологией. Но iPhone 11 Pro и Galaxy Note 10+ / 20 Ultra-это не единственные устройства, которые имеют звуковой зум: первый экземпляр возвращается в 2013 году, с LG G2, а затем HTC H11 в 2017 году. Технология Аудиозума представлена в совершенно новых Oppo Find X2 и X2 Pro и совсем недавно недавно анонсированная серия Huawei P40, а также OnePlus 8 Pro также могут похвастаться Аудиозумом.
Основная технология, лежащая в основе Аудиозума, называется beamforming, или пространственная фильтрация. Это позволяет изменять направленность аудиозаписи (то есть чувствительность в соответствии с направлением источника звука ) и формировать ее любым необходимым способом. В этом случае оптимальной направленностью является гиперкардиоидный паттерн (см. иллюстрацию ниже), который усиливает звуки, идущие от переднего направления — то есть от направления, в котором направлена ваша камера, — в то же время ослабляя звуки со всех других направлений.
Отправной точкой для этой технологии является массив всенаправленных микрофонов, которые должны быть распространены как можно шире: чем больше микрофонов, и чем дальше они находятся друг от друга, тем больше возможностей. Когда устройство оснащено двумя микрофонами, они обычно размещаются сверху и снизу, чтобы максимально увеличить расстояние между ними. Затем сигналы, улавливаемые микрофонами, объединяются оптимальным образом для получения гиперкардиоидной направленности.
Этот высоконаправленный результат с использованием ненаправленных приемников достигается путем установки различных коэффициентов усиления на каждом микрофоне в зависимости от его положения в устройстве, а затем конструктивного добавления фазы для фронтальных волн (для усиления требуемого звука) и деструктивного для боковых волн (для ослабления внеосевой интерференции).
По крайней мере, такова общая теория. На практике, beamforming в смартфонах поставляется со своим собственным набором осложнений. Во — первых, технология, используемая в мобильных устройствах, не может полагаться на большие студийные конденсаторные микрофоны, а скорее на электретные преобразователи-крошечные микрофоны, классифицируемые как MEMS (микроэлектромеханические системы), которые требуют очень мало энергии для функционирования. Для оптимизации разборчивости, а также для контроля характерных спектральных и временных искажений, возникающих при пространственной фильтрации (таких как ослабление, потеря низкочастотной составляющей, “фазовый " звук), производители смартфонов не только должны тщательно продумать размещение микрофона, но и должны полагаться на свои собственные уникальные комбинации звуковых эффектов, таких как выравнивание, обнаружение голоса и стробирование(которые сами могут привести к звуковым искажениям).
Таким образом, каждый производитель придумывает свой собственный рецепт формирования луча в сочетании с запатентованными технологиями. Это означает, что существуют различные методы формирования луча, каждый из которых имеет свои сильные стороны, от речевой дереверберации до шумоподавления. Однако алгоритмы формирования луча могут легко усиливать шум ветра в захваченном аудио, и защита МЭМС от воздействия ветра делает всё только хуже. Почему бы тогда не усилить чувствительность микрофонов внутри смартфона? Это ухудшает частотную характеристику и чувствительность микрофонов, поэтому производители предпочитают полагаться на программное обеспечение, когда речь заходит о снижении шума и ветра.
Кроме того, нет хороших технических решений (пока еще) для моделирования реалистичного шума ветра в естественных акустических средах в лабораторных условиях. Таким образом, производителям пришлось разработать свои собственные цифровые технологии "ветрового фильтра" (которые могут применяться независимо от ограничений промышленного образца изделия), основанные на оценке аудиозаписей.
Так же, как шумоподавление и многие другие популярные технологии, beamforming был первоначально разработан для военных целей. Фазированные антенные решетки передатчиков использовались в качестве радиолокационных антенн во время Второй Мировой Войны и в настоящее время используются в приложениях, начиная от медицинской визуализации до музыкальных фестивалей. Что касается фазированной микрофонной решетки, то она была изобретена ещё в 20 веке Джоном Биллингсли в то время как метод, реализованный в смартфонах, не улучшился в последнее десятилетие. Только эволюция самого смартфона, независимо от любого аудио-рассмотрения, позволила Аудиозуму стать более эффективным, благодаря сверхразмерным устройствам, нескольким микрофонам и все более мощным чипсетам. Помните: чем больше количество микрофонов и чем дальше они друг от друга, тем больше возможностей.
В своей диссертации “акустическое усиление через формирование Луча с помощью смартфонов” Ван Вингаарден и Э. Х. Ваутерс написали:: "Для
государства или компании это уникальная возможность следить за людьми. Но насколько система формирования луча смартфона будет способствовать любому уровню массового наблюдения? [ ... ] Теоретически, если технология станет более зрелой, она может стать оружием в арсенале государств-наблюдателей. Но эта технология еще не существует массово. Аудиозум на смартфонах по-прежнему является относительно неизведанной территорией.
Технология Аудиозум часто используется спецслужбами для прослушивания
Так что хорошие новости для нашей личной жизни — по крайней мере, на данный момент, эта технология в смартфонах ещё не доведена до совершенства.