Тонкая настройка позволяет настроить модель Mistral 7B Instruct так, чтобы она ходила и говорила именно так, как нужно.
Вам предстоит решить сложную задачу, связанную с ответом на вопрос, обобщением, извлечением сущностей или классификацией? Независимо от задачи, тонкая настройка может повысить производительность и результаты модели Mistral 7B Instruct.
Советы по улучшению откликов моделей с помощью дополнительного контекста можно найти в моей статье о построении конвейера RAG с моделью Mistral 7B Instruct:
В этой статье мы начнем с оценки работы модели на нескольких примерах и подскажем вам, как доработать модель для вашего случая использования.
Тонкая настройка модели Мистраль 7B Инструкции
Шаг 1
Установка и импорт библиотек
Шаг 2
Загрузить набор данных Databricks' Dolly 2 Dataset
Давайте посмотрим на первую запись в этом наборе данных:
Шаг 3
Скачать инструкцию Мистраль 7B Модель
В этом примере я использую 4-битную версию модели инструкций Mistral 7B, чтобы сделать ее управляемой для моей машины Google Colab GPU, использующей один A100 GPU в Google Colab.
Шаг 4
Инструкторские испытания модели Mistral 7B
Далее мы проверим работу модели Mistral 7B Instruct. Задача состоит в том, чтобы предоставить модели ответ и посмотреть, сможет ли она сгенерировать для него разумный вопрос.
Давайте проведем несколько экспериментов и посмотрим, как работает модель на нескольких примерах:
Контрольная работа 1:
Контрольная работа 2:
Обзор
Первый пример из инструкции Mistral 7B многословен и не отражает сути, в то время как второй гораздо лучше. Кажется, что модель можно было бы доработать, чтобы она выдавала те ответы, которые мы хотим видеть.
Шаг 5
Подготовка инструкторской модели Mistral 7B к доводке
Для тонкой настройки всей модели требуется огромный GPU, поэтому я использую технику PEFT (Parameter Efficient FineTuning) - LoRA (Low-Rank Adaptation), которая замораживает предварительно обученную модель и добавляет меньшие обучаемые матрицы в каждый слой.
Шаг 6
Разделение и сохранение набора данных
Шаг 7
Определите аргументы для окончательной настройки
Шаг 8
Выполнить задание по окончательной настройке
Шаг 9
Время до оценки (качественно)
Вы можете протестировать доработанную модель на примерах, которые мы использовали ранее.
Тест 3:
Наконец, если вы удовлетворены своей моделью, вы можете сохранить ее на Google Диске для последующего доступа, как показано ниже:
Кроме того, вы можете сохранить и поделиться своей отточенной моделью, загрузив ее в свой аккаунт на HuggingFace.
Выводы
Как показано в этой статье, модель улучшилась для конкретной задачи, для которой мы ее настраивали, - вы также можете использовать эту технику для настройки модели для вашего собственного случая использования.
Что дальше
Мы лишь качественно оценили доработанную модель на нескольких примерах, но крайне важно провести комплексную оценку всего тестового набора.
полный код данного примера можно скачать по ссылке ниже