Pavel Zloi

Возился тут намедни с кастомными модельками Whisper, у которых, как не трудно догадаться, не было GGML-версий, ну и чтобы их можно было в whisper.cpp использовать пришлось разбираться с темой конвертации весов в указанный формат, так что я решил заодно набросать небольшую инструкцию на эту тему. Ах, да, все работы выполняю на Debian GNU/Linux с установленным на нём Python 3.12 и Python Virtual Environment. Первым делом создадим директорию, в которой будем выполнять работы, после чего перейдём в неё:...

Всем привет! Решил оформить эту небольшую заметку для всех тех, кто хочет перенести свою установку ollama в Docker-контейнер, ничего при этом не потеряв (включая веса загруженных моделей, настройки и ключи шифрования). Идея данной заметки возникла после очередного обновления ollama которое сбросило мои настройки включающие поддержку flash attention и открывающие порт 11434 на всех интерфейсах, чтобы можно было с внешних машин подключаться. Указанные настройки выполняются через конфигурационный файл сервиса ollama расположенный по адресу /etc/systemd/system/ollama...

Чем глубже погружаюсь в тему нейросетей, тем больше разношерстных моделей мне требуется использовать для решения различных задач. Например, для создания проектов типа RAG (Retrieval-Augmented Generation) могут понадобиться модели-эмбеддеры. Эти модели превращают текстовые данные в векторные представления (эмбеддинги), что позволяет эффективно сравнивать и находить сходства между текстами, а полученные эмбеддинги используются для поиска, классификации и ранжирования информации в система векторного поиска...

Приветствую! Во время разработки проектов, которые в той или иной мере используют большие языковые модели, иногда возникает вопрос о том, какие методы нарезки текста (анг. text splitting) на кусочки (анг. chunks) существуют? Вот и я задался подобным вопросом и стал гуглить. В процессе непродолжительного поиска мне на глаза попался прекрасный видеоролик под названием "The 5 Levels Of Text Splitting For Retrieval", в котором автор рассказывает и показывает различные методы нарезки текста при помощи LangChain и не только...

Приветствую всех ценителей мира нейросетей! Сегодня мы окунемся в увлекательный и занимательный процесс подготовки серверов под управлением операционных систем на базе ядра Linux для работы с нейросетями. В частности мы сосредоточимся на настройке машинок бегающих под управлением Debian и Ubuntu с установленными графическими ускорителями от Nvidia. Изложенная тема рассчитана на людей которые уверенно работают с Linux, но при этом не встречались с задачами по запуску нейросетевого добра на данном классе ОС, поэтому многие мелкие подробности касательно работы с Linux я пропущу...