И так когда вы начали работу с локальным ИИ
т.е установили на свое железо LLM модель ИИ у вас есть Большой массив параметров который непосредственно влияет на Точность ответов модели
вы уже сформировали задачи для своего ИИ вам нужно его дообучить ..
используем интересующую вас модель ИИ просим ее
напиши скрипт бота для обучения LLM модели
получаем ответ на подобие этого
Этот скрипт так же сформирован с использованием ИИ
Пример скрипта (дообучение модели с использованием Hugging Face Transformers):
import os
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer, TextDataset, DataCollatorForLanguageModeling
# 1. Параметры обучения (настройте под себя!)
model_name = "gpt2" # Или другая предобученная модель (например, "facebook/bart-base")
dataset_path = "путь_к_вашему_текстовому_файлу.txt" # Замените! Укажите путь к файлу с данными для обучения.
output_dir = "обученная_модель" # Замените! Куда сохранить обученную модель.
per_device_train_batch_size = 4 # Размер батча (зависит от вашей видеокарты)
num_train_epochs = 3 # Количество эпох обучения
save_steps = 500 # Как часто сохранять модель (в шагах)
# Проверка доступности GPU
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
print(f"Используется устройство: {device}")
# 2. Загрузка токенизатора и модели
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to(device)
# Важно: добавьте padding token, если его нет (актуально для некоторых моделей)
if tokenizer.pad_token is None:
tokenizer.pad_token = tokenizer.eos_token # Или другой подходящий токен
# 3. Подготовка данных
def load_dataset(file_path, tokenizer, block_size):
dataset = TextDataset(
tokenizer=tokenizer,
file_path=file_path,
block_size=block_size,
)
return dataset
train_dataset = load_dataset(dataset_path, tokenizer, block_size=128) # Размер блока текста. Зависит от модели и данных.
data_collator = DataCollatorForLanguageModeling(
tokenizer=tokenizer, mlm=False # mlm=False для причинно-следственного моделирования (как у GPT)
)
# 4. Настройка обучения
training_args = TrainingArguments(
output_dir=output_dir,
overwrite_output_dir=True,
num_train_epochs=num_train_epochs,
per_device_train_batch_size=per_device_train_batch_size,
save_steps=save_steps,
save_total_limit=2, # Сколько последних версий сохранять
prediction_loss_only=True,
learning_rate=5e-5, # Скорость обучения (важный параметр)
weight_decay=0.01, # Регуляризация
fp16=True if device == torch.device("cuda") else False, # Используйте fp16 для ускорения на GPU (если поддерживается)
)
# 5. Инициализация Trainer
trainer = Trainer(
model=model,
args=training_args,
data_collator=data_collator,
train_dataset=train_dataset,
)
# 6. Запуск обучения
trainer.train()
# 7. Сохранение обученной модели и токенизатора
model.save_pretrained(output_dir)
tokenizer.save_pretrained(output_dir)
print(f"Обучение завершено! Модель сохранена в {output_dir}")
Донастраиваем параметры ,зная базовые характеристики вашего оборудования , масштабируем ...
Параметры оборудования влияющие на скорость работы
Процессор ядра-потоки
Количество RAM Оперативной памяти ( конечно ее нужно больше но в разумных пределах)
Очень важным составляющим является VRAM чем ее болье на одной видео карте тем быстрее будет работать LLM
SSD высокоскоростной на нем храниться наша БД ( база данных)
Естественно чем болье ботов для ДООБУЧЕНИЯ вы запустили там болье нагрузка на пропускную сеть ( то есть ва провайдер вам предоставляет скорость работы интернета 100 МБс это позволит запустить не более 55 ботов для дообучения )
если у вас Гигабитное подключение
применяем формулу
1 бот потребляет ресурсы в размере 1.8 МБс
100МБс : 1.8МБС=55.55
1000МБс : 1.8МБС=555.55
Ваше сетевое оборудование + скорость передачи данных (подключение предоставляемое провайдером)+провод по которому идет коннект с Интернетом = Скорость дообучения LLM модели для ваших нужд