🔥 Обучить модель уровня GPT-2 теперь стоит меньше $100. Да, серьёзно.
Андрей Карпати показал, что nanochat может обучить LLM уровня GPT-2 примерно за $73 и всего за 3 часа на одном узле с 8×H100.
Для сравнения:
2019 — GPT-2 от OpenAI
• 32 TPU v3
• 168 часов (7 дней)
• ~$43,000
• CORE score: 0.2565
2025 — nanochat
• 1 узел 8×H100
• 3.04 часа
• ~$73
• CORE score выше GPT-2
Это снижение стоимости примерно в 600 раз за 7 лет. В среднем цена обучения модели такого уровня падает примерно в 2.5 раза каждый год.
Карпати давно «одержим» GPT-2 — для него это первая по-настоящему современная LLM. Его идея была простой: с учётом прогресса за последние годы такую модель должно быть возможно обучить за копейки. И теперь это доказано на практике.
Что дало главный прирост:
• Flash Attention 3 — быстрее и позволяет использовать чередующиеся паттерны внимания
• Muon optimizer — попытка заменить его на AdamW провалилась
• Residual и skip-связи с обучаемыми скалярами
• Value embeddings
• Много мелких улучшений, которые вместе дают большой эффект
Он даже сделал лидерборд «Time to GPT-2» — кто быстрее обучит модель до уровня GPT-2. Первый результат — 3.04 часа.
Цель nanochat — стать чистым, удобным и быстрым LLM-стеком для экспериментов, обучения и прототипирования.
Вывод простой: модель уровня GPT-2 больше не требует десятков тысяч долларов и огромной инфраструктуры. Сегодня это вопрос грамотной оптимизации, инженерии и архитектуры. Барьер входа в обучение LLM стремительно падает
https://x.com/karpathy/status/2017703360393318587
