Искусственный Интеллект

Возился тут намедни с кастомными модельками Whisper, у которых, как не трудно догадаться, не было GGML-версий, ну и чтобы их можно было в whisper.cpp использовать пришлось разбираться с темой конвертации весов в указанный формат, так что я решил заодно набросать небольшую инструкцию на эту тему. Ах, да, все работы выполняю на Debian GNU/Linux с установленным на нём Python 3.12 и Python Virtual Environment. Первым делом создадим директорию, в которой будем выполнять работы, после чего перейдём в неё:...

Чем глубже погружаюсь в тему нейросетей, тем больше разношерстных моделей мне требуется использовать для решения различных задач. Например, для создания проектов типа RAG (Retrieval-Augmented Generation) могут понадобиться модели-эмбеддеры. Эти модели превращают текстовые данные в векторные представления (эмбеддинги), что позволяет эффективно сравнивать и находить сходства между текстами, а полученные эмбеддинги используются для поиска, классификации и ранжирования информации в система векторного поиска...

Приветствую всех ценителей мира нейросетей! Сегодня мы окунемся в увлекательный и занимательный процесс подготовки серверов под управлением операционных систем на базе ядра Linux для работы с нейросетями. В частности мы сосредоточимся на настройке машинок бегающих под управлением Debian и Ubuntu с установленными графическими ускорителями от Nvidia. Изложенная тема рассчитана на людей которые уверенно работают с Linux, но при этом не встречались с задачами по запуску нейросетевого добра на данном классе ОС, поэтому многие мелкие подробности касательно работы с Linux я пропущу...

Приветствую тебя, мой уважаемый читатель! Последние пару дней изучаю возможности проекта NLLB (анг. No Language Left Behind, что пафосно переводится как: ни один язык не остался позади), изучаю я его потому как мне нужно в рамках одного небольшо прототипа проекта RAG-системы интегрировать модуль перевода текста. Ну и по ходу пьесы набралось некоторое количество заметок про NLLB, которыми я хотел бы поделиться. Краткий обзор Изучение этой темы начал тривиально, с прочтения постов на HuggingFace про...

Приветствую! Существует устоявшееся мнение о том, что нейросеть - это прежде всего датасет, на котором происходит её обучение. Следовательно, чтобы обучить нейросеть способную имитировать некоего определённого персонажа необходимо иметь датасет, представляющий из себя чат с этим персонажем. Данная публикация является первой частью описания проекта над которым я работал, и в ней мы поговорим о том как при помощи больших языковых моделей (Large Language Models, LLM) можно создавать синтетические датасеты типа чат для обучения моделей чат-ботов имитаторов виртуальных персонажей...

Приветствую вас мои уважаемые читатели! В данной публикации я бы хотел в слегка облегчённой форме пересказать то о чём рассказывал в Дообучение ruGPT-3.5 13B с LoRA на Хабре. Но на этот раз сконцентрируюсь на моём проекте ruGPT-3.5-training и постараюсь вкратце объяснить, как при помощи скриптов из упомянутого проекта можно без особых усилий произвести дообучение оригинальной модели ruGPT-3.5-13B от команды Sber AI. Введение Коллекцию датасетов будем использовать ту же самую, что применяется в процессе...