1 неделю назад
Как запустить голосовой чат с локальной LLM: realtime в llama.cpp
Голосовой чат с локальной моделью теперь можно поднять на одном сервере: релиз llama.cpp b11946 добавил в сервер realtime-разговор и транскрипцию по эндпоинту /v1/realtime. Это снимает необходимость склеивать распознавание речи, LLM и синтез из трёх разных сервисов — сервер берёт realtime-сессию на себя. В сервере llama.cpp появился эндпоинт /v1/realtime, который обслуживает разговор в реальном времени и транскрипцию. Это не отдельная модель и не новый формат весов — расширение уже существующего llama-server, то есть тот же бинарник, что вы запускаете для обычного HTTP-доступа к локальной LLM...