Приспосабливаюсь как могу к своему положению, к своей травме. И как то не хватает общения. Так вот, есть отличное решение пообщаться с большим количеством людей на чат рулетке некто ми, которая голосовая...

Голосовой чат с локальной моделью теперь можно поднять на одном сервере: релиз llama.cpp b11946 добавил в сервер realtime-разговор и транскрипцию по эндпоинту /v1/realtime. Это снимает необходимость склеивать распознавание речи, LLM и синтез из трёх разных сервисов — сервер берёт realtime-сессию на себя. В сервере llama.cpp появился эндпоинт /v1/realtime, который обслуживает разговор в реальном времени и транскрипцию. Это не отдельная модель и не новый формат весов — расширение уже существующего llama-server, то есть тот же бинарник, что вы запускаете для обычного HTTP-доступа к локальной LLM...