Как Sminex построили корпоративную LLM-платформу: архитектура, грабли и выводы
Sminex выбрала единую LLM-платформу вместо отдельных ассистентов для управляемости, масштабируемости и предсказуемости AI-сервисов. Это помогло избежать хаоса, ускорить запуск новых кейсов и централизовать контроль.
🔹Ключевые элементы платформы
В основе — Open WebUI (интерфейс), LiteLLM (API-шлюз), Langflow (оркестратор), vLLM (движок на GPU). Инфраструктура — Deckhouse Kubernetes, мониторинг — Prometheus/Grafana и Langfuse (трассировка, промпты, стоимость). Работа с знаниями: от готовых инструментов к собственным RAG pipeline, сейчас тестируется RAGFlow.
🔹Главные выводы
Эксплуатация сложнее самой модели, open source — это и свобода, и боль, а экономика платформы выгоднее отдельных кейсов. В планах — автономные агенты, улучшение RAG и системные evaluations.
Подробнее: https://clck.ru/3Tm8oa
