🤯 Легенда AI Андрей Карпаты снова в деле. Он выложил nanochat — проект, который позволяет собрать клон ChatGPT с нуля.
Бюджет? $100.
Время? ~4 часа на облачном сервере с 8xH100.
Это полный конвейер: 8000 строк чистого, минималистичного кода, который демистифицирует весь процесс — от обучения токенизатора и предобучения модели до файнтюнинга и RL.
Адаптировал и перевёл руководство по этой крутоте.
Внутри разбираем всё по шагам:
- ⚙️ Подготовка окружения: зачем тут uv и Rust.
- 📚 Обучение токенизатора: создаем собственный словарь для LLM.
- 🧠 Pretraining: рождение интеллекта и самый дорогой этап.
- 🎓 Midtraining & SFT: учим модель диалогу и полируем до блеска.
- 🎯 RL: опциональный этап для «натаскивания» на конкретные задачи.
- 💰 Итог: что мы реально получаем за $100?
Читаем здесь:
🧠 Собираем свой ChatGPT за $100: Полное руководство по nanochat Андрея Карпаты ◀️
#годный_опенсорс
