"Оживил" Ai-девушку с обложки моей ИИ-подборки. Иллюстрация была сгенерирована давно, посмотрим как она выглядеть в движении. Как это, жить и купаться в море цифровых сигналов?)
ИИ (GPT / LLM)
Всё по теме ИИ
подборка · 22 материала
ИИ: Ответы на комменты - "ИИ хранит ответы!", "ИИ не порождает новое", "ИИ - это просто калькулятор".
Поддержать в один клик: Все эти утверждения верны. Так? Нет. Во-первых, ИИ не хранит готовые ответы, он хранит параметры модели и генерирует ответ заново каждый раз. Что это значит применительно к ответам? Это значит, что каждый новый ответ не извлекается из памяти, а синтезируется в момент запроса, как вероятностное продолжение входного текста на основе выученных закономерностей, а не заранее заготовленных формулировок. Он даже одно и то же слово может написать по-разному иногда, много раз правильно, а в другой раз - с ошибкой/опечаткой...
ИИ: Как его обучают?
Поддержать в один клик: 1️⃣ Базовое обучение (Pretraining) Модель учится предсказывать следующий фрагмент текста на огромном количестве данных. Подробнее Это фундамент: модель читает триллионы токенов (терабайты данных) и учится языку, фактам, структурам, стилям. Она не «понимает», но выучивает статистику и связи между понятиями. Без этого этапа всё остальное бессмысленно. Да, это математика. 2️⃣ Самообучение / Self-supervised learning Модель учит сама себя, без разметки людьми. Подробнее Никто не говорит «это правильный ответ»...
ИИ: Алгоритмы моделей - простые или сложные?
Поддержать: Коротко: алгоритмы ИИ одновременно очень простые и очень сложные, в зависимости от уровня, на который смотришь. На самом нижнем уровне - поразительно простые Если опуститься до «атомов», то всё выглядит почти тривиально: сложение чисел умножение функция активации корректировка веса на маленькую величину Типовая формула нейрона, это буквально: y = f(w₁x₁ + w₂x₂ + ... + b) Где: w — веса x — входы f — простая нелинейная функция Математика уровня старших классов / первых курсов. Никакой магии...
ИИ: Объём данных для обучения против "веса" готовой модели
Поддержать в один клик: 1. Какой объём данных использовался для обучения больших LLM (порядок величин) Для моделей уровня GPT-4 / GPT-5-класса принято говорить о порядках, а не о точных цифрах. 📊 Оценка по объёму сырых данных: ≈ 10–100 ТБ текста (до очистки) после фильтрации, дедупликации и нормализации: ≈ 1–10 ТБ «чистого» текста Это: книги статьи код диалоги документация многоязычные данные Важно: ТБ — это не «больше = лучше», а «достаточно разнообразно». 2. Сколько это в «словах» и «токенах» Обычно считают в токенах...