Диктую я постоянно - почти всё, что уходит в нейросети, я проговариваю вслух, так гораздо удобнее и быстрее. Поэтому и платил за диктовку каждый месяц, пока не собрал свою. Теперь собственное приложение Slovo распознаёт мою речь прямо на ноуте, без интернета, а подписку на Aqua Voice за 10$ в месяц я отменил.
На старте мною двигал скорее интерес, Aqua Voice и Whisper Flow, которыми я пользовался, свои задачи закрывают хорошо, мне было с ними удобно. Просто захотелось понять, как такие программы устроены внутри и смогу ли я без глубокого знания кода собрать себе такой же инструмент, только бесплатный. Slovo вообще стало моим первым приложением - до него я ничего подобного не собирал. Первая рабочая версия вышла за одну автономную сессию из пустой папки: сначала шесть агентов разошлись по исследованию, потом шесть писали код параллельно, 116 и 16 тестов зелёные с первого прогона. А когда получилось, аппетиты выросли и в голове поселилась мысль - «хорошо, это работает, а как теперь сделать лучше, чем то, что есть на рынке?».
Дальше пошли тесты и замеры. Речь в текст переводит модель распознавания, и их есть несколько на выбор - я сравнивал три на своём ноуте. Взял свой же отрезок на 34 секунды русской речи. Whisper в облегчённой версии справился за 8,8 секунды, он же в тяжёлой - за 37, а русская GigaAM-v3 - за 2,2 секунды, и при этом точнее на моих рабочих словах и терминах. Флагманская модель виспера локально на моём ноуте облажалась знатно - тридцать семь секунд ожидания, когда ты уже всё сказал - это как сидеть перед микроволновкой и смотреть, как греется твой обед. Мысль за это время успевает остыть вместе с ним.
Не обошлось без нюансов. И спецификация, и исследование обещали, что GigaAM сама расставит знаки, а по факту текст приходил строчными буквами и без единой запятой. За пунктуацией теперь следит вторая модель, совсем маленькая, на 31 мегабайт - она только размечает слова, где заглавная и где знак после слова, поэтому сами слова исказить не может. Отрезок речи в полминуты она обрабатывает всего за 0,09 секунды против 2,6 у облачной очистки, а облачная в тесте ещё и неправильно разрезала предложение.
Потом прогнал один и тот же отрывок через Aqua Voice и свою связку. У Aqua часть слов ушла не туда и поплыла пунктуация, у меня текст вышел чистым. Честно говоря, вытягивает тут именно связка из двух ступеней - распознавание и расстановка знаков, в одиночку модель распознавания выдаёт текст вообще без знаков, и на ней такого результата не получить. Весь путь, от голоса до готового текста, проходит на ноуте и занимает около пяти секунд.
Сейчас докручиваю режим протокола встреч - чтобы приложуха различала участников по фразам, собирала итоги и вытаскивала задачи после обсуждения. Дальше хочу, чтобы всё работало только на моём компьютере и при этом не теряло в качестве, тогда данные никуда не уходят и приложением можно будет пользоваться на корпоративных задачах, что откроет возможности для дистрибуции этого приложения в B2B сегмент. И нужны версии под iOS и Android, пока написан только десктоп.
2 минуты
5 октября