Нашли способ, как сделать дешевый, симпатичный, а главное быстрый забор своими руками: показываем, что придумали
Как сделать голосового ИИ быстрее: VoiceAgentRAG ускоряет поиск в 316 раз
Если ты когда-нибудь разговаривал с голосовым ассистентом и ловил паузу в духе «эээ… сейчас… секундочку…», то знаешь главную боль: голосу нельзя тормозить. В тексте ИИ может «подумать» пару секунд — и никто не умрёт. А в голосе задержка должна укладываться примерно в 200 миллисекунд, иначе диалог превращается в неловкий созвон с человеком, у которого микрофон в шкафу. И вот тут вылезает RAG — подход, где модель перед ответом лезет в базу знаний и достаёт нужные куски текста. Проблема простая: обычный запрос в удалённое хранилище часто съедает 50–300 мс только на сеть и поиск...