Найти в Дзене
Закреплено автором
Pavel Zloi
Где меня искать
114 · 1 год назад
Конвертация моделей Whisper c HuggingFace в формат GGML
Возился тут намедни с кастомными модельками Whisper, у которых, как не трудно догадаться, не было GGML-версий, ну и чтобы их можно было в whisper.cpp использовать пришлось разбираться с темой конвертации весов в указанный формат, так что я решил заодно набросать небольшую инструкцию на эту тему. Ах, да, все работы выполняю на Debian GNU/Linux с установленным на нём Python 3.12 и Python Virtual Environment. Первым делом создадим директорию, в которой будем выполнять работы, после чего перейдём в неё:...
153 читали · 8 месяцев назад
Ollama: переезд из системы в Docker-контейнер
Всем привет! Решил оформить эту небольшую заметку для всех тех, кто хочет перенести свою установку ollama в Docker-контейнер, ничего при этом не потеряв (включая веса загруженных моделей, настройки и ключи шифрования). Идея данной заметки возникла после очередного обновления ollama которое сбросило мои настройки включающие поддержку flash attention и открывающие порт 11434 на всех интерфейсах, чтобы можно было с внешних машин подключаться. Указанные настройки выполняются через конфигурационный файл сервиса ollama расположенный по адресу /etc/systemd/system/ollama...
163 читали · 10 месяцев назад
Как конвертировать модель BERT в формат GGUF?
Чем глубже погружаюсь в тему нейросетей, тем больше разношерстных моделей мне требуется использовать для решения различных задач. Например, для создания проектов типа RAG (Retrieval-Augmented Generation) могут понадобиться модели-эмбеддеры. Эти модели превращают текстовые данные в векторные представления (эмбеддинги), что позволяет эффективно сравнивать и находить сходства между текстами, а полученные эмбеддинги используются для поиска, классификации и ранжирования информации в система векторного поиска...
392 читали · 1 год назад
Что я знал о чанках? Как нарезать текст с помощью LangChain для LLM и векторного поиска
Приветствую! Во время разработки проектов, которые в той или иной мере используют большие языковые модели, иногда возникает вопрос о том, какие методы нарезки текста (анг. text splitting) на кусочки (анг. chunks) существуют? Вот и я задался подобным вопросом и стал гуглить. В процессе непродолжительного поиска мне на глаза попался прекрасный видеоролик под названием "The 5 Levels Of Text Splitting For Retrieval", в котором автор рассказывает и показывает различные методы нарезки текста при помощи LangChain и не только...
611 читали · 1 год назад
Как подготовить Linux к запуску и обучению нейросетей? (+ Docker)
Приветствую всех ценителей мира нейросетей! Сегодня мы окунемся в увлекательный и занимательный процесс подготовки серверов под управлением операционных систем на базе ядра Linux для работы с нейросетями. В частности мы сосредоточимся на настройке машинок бегающих под управлением Debian и Ubuntu с установленными графическими ускорителями от Nvidia. Изложенная тема рассчитана на людей которые уверенно работают с Linux, но при этом не встречались с задачами по запуску нейросетевого добра на данном классе ОС, поэтому многие мелкие подробности касательно работы с Linux я пропущу...
245 читали · 1 год назад
Как подружить OpenWRT и Prometheus?
Давненько заготовка данной публикации лежала у меня в черновиках, но вот купив себе новенький ASUS RT-AX1800U мне потребовалось повторить настройку OpenWRT таким образом чтобы появилась возможность снимать с него метрики через Prometheus. Так что на этот раз решил всё подробнейшим образом задокументировать и довести публикацию до релиза. В данной публикации мы для начала обсудим как выполнить установку и первоначальную настройку экспортера на роутере, далее на стороннем сервере при помощи Docker...
435 читали · 1 год назад
Где меня искать
Собрал в один небольшой пост все мои публичные проекты и группы/каналы в социальных сетях, чтобы вам было проще меня найти. К тому же если хотите поддержать меня то вот ссылки на соответствующие платформы: Тут список некоторых моих больших проектов, которые имеют косвенное отношение к моей блогерской деятельности. ЗЫ. Список будет пополняться. Собственно изначально данный проект я запустил в Steam,...
114 читали · 1 год назад
Перевод на разные языки используя модель NLLB
Приветствую тебя, мой уважаемый читатель! Последние пару дней изучаю возможности проекта NLLB (анг. No Language Left Behind, что пафосно переводится как: ни один язык не остался позади), изучаю я его потому как мне нужно в рамках одного небольшо прототипа проекта RAG-системы интегрировать модуль перевода текста. Ну и по ходу пьесы набралось некоторое количество заметок про NLLB, которыми я хотел бы поделиться. Краткий обзор Изучение этой темы начал тривиально, с прочтения постов на HuggingFace про...
311 читали · 1 год назад
Как создать нейросеть иммитирующую человека? Про датасет.
Приветствую! Существует устоявшееся мнение о том, что нейросеть - это прежде всего датасет, на котором происходит её обучение. Следовательно, чтобы обучить нейросеть способную имитировать некоего определённого персонажа необходимо иметь датасет, представляющий из себя чат с этим персонажем. Данная публикация является первой частью описания проекта над которым я работал, и в ней мы поговорим о том как при помощи больших языковых моделей (Large Language Models, LLM) можно создавать синтетические датасеты типа чат для обучения моделей чат-ботов имитаторов виртуальных персонажей...
349 читали · 1 год назад
ИИ в каждый дом! Тонкая настройка ruGPT-3.5 при помощи LoRA
Приветствую вас мои уважаемые читатели! В данной публикации я бы хотел в слегка облегчённой форме пересказать то о чём рассказывал в Дообучение ruGPT-3.5 13B с LoRA на Хабре. Но на этот раз сконцентрируюсь на моём проекте ruGPT-3.5-training и постараюсь вкратце объяснить, как при помощи скриптов из упомянутого проекта можно без особых усилий произвести дообучение оригинальной модели ruGPT-3.5-13B от команды Sber AI. Введение Коллекцию датасетов будем использовать ту же самую, что применяется в процессе...
309 читали · 1 год назад
Решил написать коротенькую заметку на тему почему, с математической точки зрения, удалённая работа лучше чем работа в офисе. Так вот, предположим, что каждый день вы тратите на поездку на работу 1 час и на обратную дорогу 1 час, итого 2 часа в день на простое и бездумное смотрение в телефон или окно, не стоит заниматься самообманом и говорить самому себе (или другим людям) что это не так, фактически в момент таких поездок вы просто коротаете время жвачкой для мозга. Предположим, что в неделе 5 рабочих дней, следовательно за неделю расходуется 10 часов на транспорт. В месяце примерно 4 недели => 4*10=40 часов на транспорт. В году 12 месяцев => 40*12=480 часов в год на транспорт, это 20 полных дней, практически рабочий месяц. Предположим вы работаете где-то 10 лет => 480*10=4800 часов за 10 лет потрачено впустую, 4800 часов это 200 полных дней (по 24 часа каждый), чуть больше полугода за 10 лет своей жизни вы потратите впустую, что можно сделать за полгода? Вопрос риторический :) Какие выводы можно сделать? Возможно стоит искать квартиру поближе к работе, чтобы на дорогу туда обратно уходило не очень много времени, скажем 10-15 минут в день, либо же искать удалённую работу, чтобы на работу вообще ехать не приходилось (быть безработным тунеядцем не предлагаю, у всех трудоспособных людей должна быть работа). PS. Если на дорогу у вас уходит 3 часа в день (в сумме, туда и обратно), то за 10 лет набегает 300 дней, а это уже почти год.
120 читали · 1 год назад
Про датасеты для обучения языковых ИИ моделей
Всем привет! Давно хотел написать публикацию в которой были бы перечислены самые распространённые варианты датасетов для обучения языковых моделей. Про то как правильно собирать датасеты для языковых моделей меня спрашивают не то чтобы часто, но каждый раз приходится достаточно подробно расписывать что да как. Поэтому я решил собрать все свои мысли на этот счёт в одну небольшую публикацию и в дальнейшем просто ссылаться на неё. Кстати, также рекомендую ознакомиться с моей публикацией про систему Label Studio, там я рассказывал про то как упростить процедуру создания и разметки датасетов...
704 читали · 1 год назад