Поддержать в один клик:
1️⃣ Базовое обучение (Pretraining)
Модель учится предсказывать следующий фрагмент текста на огромном количестве данных.
Подробнее
Это фундамент: модель читает триллионы токенов (терабайты данных) и учится языку, фактам, структурам, стилям. Она не «понимает», но выучивает статистику и связи между понятиями. Без этого этапа всё остальное бессмысленно. Да, это математика.
2️⃣ Самообучение / Self-supervised learning
Модель учит сама себя, без разметки людьми.
Подробнее
Никто не говорит «это правильный ответ». Задача формируется автоматически: угадать пропущенное, следующее, перепутанное. Это позволяет обучаться на гигантских объёмах данных почти бесплатно.
Масштабирование (Scaling laws)
Чем больше модель, данных и вычислений - тем лучше результат (до определённого предела).
Подробнее
Существуют эмпирические законы (например, Chinchilla): качество растёт предсказуемо при правильном балансе параметры ↔ данные ↔ compute (вычисления). Это инженерная оптимизация.
4️⃣ Архитектура (Transformer, Attention)
Модель умеет обращать внимание на важные части текста.
Чуть развернутее
Механизм attention позволяет учитывать дальний контекст, связи между частями текста и смысловые зависимости. Это ключевая причина, почему современные LLM (на 2025 год) работают сильно лучше старых моделей.
5️⃣ Fine-tuning (дообучение под задачу)
Модель подстраивают под конкретную область.
Берут базовую модель и доучивают на специализированных данных: психология, код, медицина, IT, дизайн, стиль компании. Это меняет поведение, но не переписывает «базовый интеллект».
6️⃣ Обучение с подкреплением - RLHF (Reinforcement Learning from Human Feedback)
Если очень просто
Люди учат модель, какие ответы считать хорошими.
Развернутее
Люди ранжируют ответы → обучается reward-модель → основная модель оптимизируется под «человеческое одобрение». Это делает ответы полезными, вежливыми, безопасными, но иногда снижает «сырой интеллект».
7️⃣ Синтетические данные
Модели учатся на данных, созданных другими моделями.
Используются для:
- рассуждений шаг за шагом
- редких кейсов
- сложных логических задач
Плюс: данные чистые и структурированные.
Минус: риск «зацикливания» и усиления ошибок, если люди не вмешиваются и не проверяют...
8️⃣ Curriculum learning
Модель учат от простого к сложному.
Сначала лёгкие примеры, затем сложнее. Это стабилизирует обучение и улучшает способность к рассуждениям, аналог школьной программы.
9️⃣ Regularization (регуляризация)
Защита от «зазубривания».
Используются методы, которые не дают модели слишком точно подгоняться под данные (dropout, weight decay и т.п.), чтобы она лучше обобщала и не «подгоняла» ответы.
🔟 Multitask / Instruction learning
Модель учат следовать инструкциям и работать с разными задачами.
Обучение на формате «инструкция → ответ» позволяет одной модели:
- переводить
- объяснять
- писать код
- анализировать
Это ключ к универсальности.
1️⃣1️⃣ RAG (Retrieval-Augmented Generation) не обучение, но тоже важно
Модель подсматривает во внешние данные.
Знания не вшиваются в модель, а подтягиваются из базы / документов. Это снижает галлюцинации и позволяет работать с актуальной информацией без переобучения.
1️⃣2️⃣ Уже упомянутая Эмерджентность
Некоторые способности возникают сами, без явного обучения.
При достижении определённого масштаба модель внезапно начинает:
- рассуждать
- обобщать
- решать новые типы задач
Это не запрограммировано напрямую, а результат сложной динамики.
Современный ИИ обучается не одним способом, а экосистемой методов:
- Базовое самообучение на данных
- Архитектура внимания
- Масштабирование
- Fine-tuning под области (домены)
- Синтетика для мышления
- RLHF для человеческого поведения
- Регуляризация и curriculum
- RAG для актуальных знаний
В общем...
ИИ — это не алгоритм.
Это результат правильно собранного процесса обучения.
Можно порассуждать:
- где ИИ принципиально отличается от мозга
- какие подходы сейчас считаются тупиковыми
- или как это применимо к узким доменам, мне лично, например, очень интересно как он так хорошо генерирует новые изображения и так быстро и качественно делает видео из них, причём именно такие, как ты описываешь.
Спасибо
Спасибо за внимание. Поддержать можно в один клик:
Ссылки
Мои 6-секундные Ai сны:
Все подборки: