Жожо Прикалывается над Малютками в Голосовой Чат Рулетке Nekto.me #8
Голосовая чат рулетка "некто ми"
Приспосабливаюсь как могу к своему положению, к своей травме.
И как то не хватает общения.
Так вот, есть отличное решение пообщаться с большим количеством людей на чат рулетке некто ми, которая голосовая...
Как запустить голосовой чат с локальной LLM: realtime в llama.cpp
Голосовой чат с локальной моделью теперь можно поднять на одном сервере: релиз llama.cpp b11946 добавил в сервер realtime-разговор и транскрипцию по эндпоинту /v1/realtime. Это снимает необходимость склеивать распознавание речи, LLM и синтез из трёх разных сервисов — сервер берёт realtime-сессию на себя. В сервере llama.cpp появился эндпоинт /v1/realtime, который обслуживает разговор в реальном времени и транскрипцию. Это не отдельная модель и не новый формат весов — расширение уже существующего llama-server, то есть тот же бинарник, что вы запускаете для обычного HTTP-доступа к локальной LLM...