Я нашёл отличный сервис для себя, тут есть все для работы
Open WebUI — это расширяемая, многофункциональная и удобная в использовании автономная платформа искусственного интеллекта, предназначенная для работы в полностью автономном режиме. Она поддерживает различные системы запуска больших языковых моделей, такие как Ollama и API-интерфейсы, совместимые с OpenAI, а также встроенный механизм логического вывода для RAG, что делает ее мощным решением для развёртывания ИИ
Ключевые особенности Open WebUI ⭐️
🚀 Простая настройка: простая установка с помощью Docker или Kubernetes (kubectl, kustomize или helm) без лишних хлопот с поддержкой образов с тегами :ollama и :cuda .
🤝 Интеграция API Ollama/OpenAI: легко интегрируйте API, совместимые с OpenAI, для универсального общения с помощью моделей Ollama. Настройте URL-адрес API OpenAI для подключения к LMStudio, GroqCloud, Mistral, OpenRouter и другим.
🛡 Детально прописанные разрешения и группы пользователей: благодаря возможности для администраторов создавать подробные пользовательские роли и назначать разрешения, мы обеспечиваем безопасность пользовательской среды. Такая детализация не только повышает уровень безопасности, но и позволяет настраивать пользовательский опыт в соответствии с индивидуальными предпочтениями, формируя у пользователей чувство сопричастности и ответственности.
📱 Адаптивный дизайн: наслаждайтесь удобством использования на настольных компьютерах, ноутбуках и мобильных устройствах.
📱 Прогрессивное веб-приложение (PWA) для мобильных устройств: с нашим PWA вы сможете пользоваться мобильным устройством как нативным приложением, получая доступ к локальному хосту в автономном режиме и имея удобный пользовательский интерфейс.
✒️🔢 Полная поддержка Markdown и LaTeX: расширьте возможности работы с большими языковыми моделями с помощью Markdown и LaTeX.
🎤📹 Голосовой/видеозвонок без использования рук: наслаждайтесь бесперебойной связью благодаря встроенным функциям голосового и видеозвонка без использования рук с использованием различных сервисов преобразования речи в текст (Local Whisper, OpenAI, Deepgram, Azure) и преобразования текста в речь (Azure, ElevenLabs, OpenAI, Transformers, WebAPI), что обеспечивает динамичную и интерактивную среду для общения.
🛠 Конструктор моделей: легко создавайте модели Ollama с помощью веб-интерфейса. Создавайте и добавляйте собственных персонажей/агентов, настраивайте элементы чата и без труда импортируйте модели с помощью интеграции Open WebUI Community.
🐍 Инструмент для вызова встроенных функций Python: улучшите свои языковые модели с помощью встроенного редактора кода в рабочей области инструментов. Добавьте свои собственные функции (BYOF), просто написав их на чистом Python, чтобы обеспечить бесшовную интеграцию с языковыми моделями.
💾 Постоянное хранилище артефактов: встроенный API хранилища «ключ-значение» для артефактов, обеспечивающий работу таких функций, как журналы, трекеры, таблицы лидеров и инструменты для совместной работы с личными и общими областями хранения данных в рамках сессий.
📚 Локальная интеграция RAG: погрузитесь в будущее взаимодействия в чатах благодаря революционной поддержке Retrieval Augmented Generation (RAG) с использованием 9 векторных баз данных на ваш выбор и нескольких механизмов извлечения контента (Tika, Docling, Document Intelligence, Mistral OCR, PaddleOCR-vl, внешние загрузчики). Загружайте документы прямо в чат или добавляйте файлы в свою библиотеку документов, чтобы легко получать к ним доступ с помощью команды # перед запросом.
🔍 Веб-поиск для RAG: выполняйте веб-поиск с помощью более чем 15 сервисов, включая SearXNG, Google PSE, Brave Search, Kagi, Mojeek, Tavily, Perplexity, serpstack, serper, Serply, DuckDuckGo, SearchApi, SerpApi, Bing, Jina, Exa, SougouAzure AI Search и Ollama Cloud, и получайте результаты прямо в чате.
🌐 Возможность просмотра веб-страниц: легко интегрируйте веб-сайты в чат с помощью команды #, за которой следует URL-адрес. Эта функция позволяет включать веб-контент непосредственно в общение, делая его более насыщенным и глубоким.
