Разработка наушников TWS, т.е. «по-настоящему беспроводных» наушников, ведется годами и набирает обороты, а производителям приходится бороться с конкуренцией, придумывая все новые и новые дополнения и решения. Однако инженеры и ученые тоже хотят появиться на рынке, примером чего являются три специалиста из Вашингтонского университета, которые разработали ClearBuds, т.е. может быть, не просто наушники, а специальную технологию, позволяющую разнообразить работу микрофонов в TWS-моделях.
Наушники ClearBuds основаны на алгоритме, похожем на то, как работают наши уши.
Пандемический мир и распространение удаленной работы вдохновили вышеупомянутую троицу на разработку технологии, благодаря которой наушники смогут не только снижать фоновый шум, но и усиливать голос собеседника. Так родились наушники ClearBuds, в которых для достижения этой цели используются микрофоны и, прежде всего, система машинного обучения.
Поскольку играть с ИИ — не такое уж простое дело и требует больших вычислительных мощностей, ученые разработали алгоритм с прицелом на смартфоны. Когда вы подключаете наушники ClearBuds к телефону, программное обеспечение выполняет всю работу, используя возможности вашего смартфона. Так что его можно сравнить с утилитой NVIDIA Voice для персональных компьютеров.
ClearBuds отличаются от других беспроводных наушников двумя ключевыми моментами.Во-первых, они используют двойной массив микрофонов.[…] Во-вторых, нейросеть дополнительно усиливает голос говорящего- сказал один из создателей, Маручи Ким.
На практике микрофоны в обоих наушниках создают два синхронизированных (в их случае Bluetooth-задержка достигает ~70 мс) аудиопотоков, которые предоставляют информацию и позволяют пространственно разделять звуки, идущие с разных направлений, с более высоким разрешением. Алгоритм, разработанный командой, обрабатывает эти аудиопотоки таким образом, что он сначала подавляет любые невокализованные звуки (например, шум), а затем изолирует и усиливает шум, исходящий из обоих наушников одновременно, то есть голос пользователя.
Поскольку голос говорящего находится рядом и примерно равноудален от обоих наушников, нейронную сеть можно научить фокусироваться только на его речи и устранять фоновые шумы, в том числе и другие голоса.Этот метод очень похож на то, как работают наши уши.Они используют разницу во времени между звуками, достигающими левого и правого уха, чтобы определить, откуда исходит звук.Ишан Чаттерджи объяснил.
По сравнению с Apple AirPods Pro ClearBuds наушники ClearBuds показали себя лучше, достигнув более высокого соотношения сигнал/искажение во всех тестах, а независимые тесты с участием 37 человек подтвердили, что ClearBuds обеспечивают запись самого высокого качества. Сейчас команда работает над тем, чтобы сделать алгоритмы нейросети еще более эффективными и, следовательно, менее требовательными, чтобы они могли работать не на чипах смартфона, а непосредственно на самих наушниках.