Найти в Дзене
(не)Честно о технологиях*

Идеально чистый звук. Как нейросеть удаляет все шумы с микрофона?

Как сделать "Чистый звук на любой версией Windows, с любой видеокартой на борту в режиме реального времени с помощью ИИ" - и это ответочка технологии Nvidia RTX Voice, которая заработает на любой видеокарте: хоть на Intel, хоть на Radeon, хоть на любой бюджетной встроенной видеокарте!

Всем привет! Сегодня мы с вами поговорим на такую тему: как сделать "Чистый звук на любой версии Windows, с любой видеокартой на борту в режиме реального времени с помощью ИИ" - и это ответочка технологии Nvidia RTX Voice (которую вы, к слову, также можете использовать на старых видеокартах GeForce, где используются ядра CUDA / это будет "стоить" вам в среднем приблизительно -10FPS от общей картины, но это можно сделать).

Однако теперь совершенно неважно, какая у вас видеокарта: от Nvidia или AMD, пусть даже встроенная графика от Intel - мы включим шумоподавление и на вашем компьютере!
Чтобы не качать "кота в мешке" - вам сразу на страничке загрузки предлагают оценить работу алгоритма Krisp в различных ситуациях: детский сад, семейный ужин и т.д.
Чтобы не качать "кота в мешке" - вам сразу на страничке загрузки предлагают оценить работу алгоритма Krisp в различных ситуациях: детский сад, семейный ужин и т.д.

И давайте обусловимся, что под шумоподавлением мы будем понимать не просто "шум" кулеров вашего ПК, вращение жесткого диска и т.п. Об этом я уже писал (кто пропустил, ссылка в самом конце статьи). Я говорю о реальном ШУМЕ: плач детей, сигналы гудков на улице, крики соседей, лай собаки, шумная музыка и тому подобное - как удалить настоящие источники шума с записи, чтобы вы могли без опасений работать дома или записывать подкаст, и избавить себя от трудоемкого и утомительного процесса постпродакшена.

Программа, что мы будем использовать, называется "Krisp" - ссылочка на загрузку, как всегда, в самом конце статьи. Что делает данная "чудо-утилита"? Разработчики Krisp прогнали через нейросеть свыше 2,5 тысячи часов! аудио, которое состояло из более чем 20 тысяч различных источников шума. Программа обучена вычленять из аудиодорожки все посторонние звуки, что позволяет получить чистый звук. Вы можете посмотреть на работу алгоритма в действии на странице загрузки утилиты:

Разработчики Krisp акцентируют внимание на том, что они не хранят никакие данные пользователей приложения на своих серверах (можете проверить исходящий трафик через любой сетевой экран).
Разработчики Krisp акцентируют внимание на том, что они не хранят никакие данные пользователей приложения на своих серверах (можете проверить исходящий трафик через любой сетевой экран).

Качаем программу отсюда: > кликни меня, я ссылка! <

После установки в трее у вас появится иконка "Krisp", жмем на нее левой клавишей мыши и у нас появится окно регистрации нового пользователя. Регистрация происходит через электронную почту, принимаются даже адреса временной почты! Программа попала в топ Forbes: 50 самых перспективных компаний, работающих в области искусственного интеллекта (AI 50: America’s Most Promising Artificial Intelligence Companies). Естественно программа платная, НО! у нее есть месячный trial без каких-либо ограничений. И еще раз напоминаю, что программа принимает регистрацию с сервисов временной почты (это когда вы создаете разовую почту для регистрации на каком-либо сайте или в приложении / прям наш с вами случай). Я пользуюсь сервисом Temp-Mail: https://temp-mail.org/ru - пройдя на него, вы не увидите никаких форм регистрации, вы зашли на сайт и тут же получили временную почту. Обновили страницу, и вот вам уже другая почта:

Каждый месяц вы просто обновляете свою учетную запись Krisp на другую почту - процесс занимает всего секунд 40. Это намного проще и дешевле, чем обновляться на RTX-карточку от Nvidia. А эффект приблизительно один и тот же. Можете сравнить.
Каждый месяц вы просто обновляете свою учетную запись Krisp на другую почту - процесс занимает всего секунд 40. Это намного проще и дешевле, чем обновляться на RTX-карточку от Nvidia. А эффект приблизительно один и тот же. Можете сравнить.

Программа работает в двух направлениях:

  • удаляет шум с вашего микрофона за счет своих алгоритмов;
  • или же! что еще круче - удаляет шум вашего собеседника, если вдруг он позвонил вам из клуба или очень шумного места.

Опять же! Разработчики Krisp активно упирают на то, что это замечательный инструмент для работников колл-центра, журналистов, которым приходится брать интервью (да-да, в скором времени они выпустят версию своего продукта для iOS), или при записи подкастов - мы неоднократно сами сталкивались с подобной неприятной ситуацией, когда у меня или моего коллеги, соседи внезапно решили посверлить стену. Krisp уберет неприятный шум у меня и моего товарища. Кстати, если вам интересно - ссылка на подкаст будет в самом конце статьи.

Все настраивается максимально просто:

Схема очень простая: Krisp принимает звук с вашего физического микрофона, чистит его от посторонних шумов и затем перенаправляет в свой виртуальный микрофон "Krisp Microphone" - обработка почти мгновенная, задержки измеряются миллисекундами.
Схема очень простая: Krisp принимает звук с вашего физического микрофона, чистит его от посторонних шумов и затем перенаправляет в свой виртуальный микрофон "Krisp Microphone" - обработка почти мгновенная, задержки измеряются миллисекундами.
  1. в главном окне "Krisp" во вкладке "Microphone" выбираете свой физический микрофон, далее для чистки звука передвигаем переключатель в положение "On" (смотрите снимок выше)
  2. "Speakers" - выбираете устройства вывода звука (динамики или наушники) и, при необходимости, если ваш собеседник в шумном месте, или вы должны записать с ним интервью, но обстановка не позволяет, то двигаем переключатель в положение "On"
  3. Все! Пользуемся, радуемся, троллим владельцем Nvidia RTX.

Спасибо, что дочитали данный материал до конца. Если у вас остались какие-нибудь вопросы, буду рад ответить на них в комментариях. Всем добра, и еще раз большое спасибо за уделенное время! Лайк под статьей и "поделиться в соц. сетях" только приветствуется...

Обложка выпуска...
Обложка выпуска...