Найти в Дзене
11,7 тыс подписчиков

📓Free book: "Build an LLM from Scratch"


Один из лучших способов разобраться в LLM - это написать ее с нуля!

Сегодня вышла новая глава книги - "Chapter 5: Pretraining on Unlabeled Data".

Автор книги - Себастьян Рашка, известный Исследователь, популяризатор машинного обучения и автор книг по Deep Learning.

В этой главе рассматриваются:
- Оценка качества текста, сгенерированного LLM во время обучения
- Реализация функции обучения и настройка LLM
- Сохранение и загрузка весов для обучения LLM
- Загрузка предварительно подготовленных весов из OpenAI

Github

Около минуты
396 читали