Добавить в корзинуПозвонить
Найти в Дзене
PythonTalk

Мясо по LLM-инжинирингу

Мясо по LLM-инжинирингу 🥩 Есть такой отличный хаб — Parlance Labs Education. Там набор докладов от практиков из Hugging Face, Anthropic, Modal, Pytorch. Чего есть интересного? 1️⃣ Fine-Tuning Там есть прекрасная дискуссия "Why Fine Tuning is Dead" в противовес гайдам по дообучению. Разбирают, когда тюнинг реально нужен, а когда вы просто сжигаете GPU ради забавы. Плюс хардкор: Axolotl, FSDP, борьба с OOM (Out Of Memory) и оптимизация под конкретное железо. 2️⃣ RAG для взрослых Вместо "как засунуть PDF в векторную базу", там обсуждают систематическое улучшение RAG-систем и архитектурные паттерны. 3️⃣ Evals Вместо проверки качества модели "на глаз", обсуждают фреймворк Inspect и систематическую оценку RAG. Если вы не умеете мерить качество своих LLM-приложений цифрами, а не ощущениями — вам сюда. 4️⃣ Napkin Math "Математика на салфетке" для обучения моделей. Интуитивное понимание того, сколько вам нужно VRAM, времени и денег, до того, как вы запустили кластер. Ну и всякое другое.

Мясо по LLM-инжинирингу 🥩

Есть такой отличный хаб — Parlance Labs Education. Там набор докладов от практиков из Hugging Face, Anthropic, Modal, Pytorch.

Чего есть интересного?

1️⃣ Fine-Tuning

Там есть прекрасная дискуссия "Why Fine Tuning is Dead" в противовес гайдам по дообучению. Разбирают, когда тюнинг реально нужен, а когда вы просто сжигаете GPU ради забавы. Плюс хардкор: Axolotl, FSDP, борьба с OOM (Out Of Memory) и оптимизация под конкретное железо.

2️⃣ RAG для взрослых

Вместо "как засунуть PDF в векторную базу", там обсуждают систематическое улучшение RAG-систем и архитектурные паттерны.

3️⃣ Evals

Вместо проверки качества модели "на глаз", обсуждают фреймворк Inspect и систематическую оценку RAG. Если вы не умеете мерить качество своих LLM-приложений цифрами, а не ощущениями — вам сюда.

4️⃣ Napkin Math

"Математика на салфетке" для обучения моделей. Интуитивное понимание того, сколько вам нужно VRAM, времени и денег, до того, как вы запустили кластер.

Ну и всякое другое. К лекциям приложены презентации, транскрипты и, самое важное, листинги кода на Python.

#левел_ап