ИИ (GPT / LLM)

Поддержать в один клик: Все эти утверждения верны. Так? Нет. Во-первых, ИИ не хранит готовые ответы, он хранит параметры модели и генерирует ответ заново каждый раз. Что это значит применительно к ответам? Это значит, что каждый новый ответ не извлекается из памяти, а синтезируется в момент запроса, как вероятностное продолжение входного текста на основе выученных закономерностей, а не заранее заготовленных формулировок. Он даже одно и то же слово может написать по-разному иногда, много раз правильно, а в другой раз - с ошибкой/опечаткой...

Поддержать в один клик: 1️⃣ Базовое обучение (Pretraining) Модель учится предсказывать следующий фрагмент текста на огромном количестве данных. Подробнее Это фундамент: модель читает триллионы токенов (терабайты данных) и учится языку, фактам, структурам, стилям. Она не «понимает», но выучивает статистику и связи между понятиями. Без этого этапа всё остальное бессмысленно. Да, это математика. 2️⃣ Самообучение / Self-supervised learning Модель учит сама себя, без разметки людьми. Подробнее Никто не говорит «это правильный ответ»...

Поддержать: Коротко: алгоритмы ИИ одновременно очень простые и очень сложные, в зависимости от уровня, на который смотришь. На самом нижнем уровне - поразительно простые Если опуститься до «атомов», то всё выглядит почти тривиально: сложение чисел умножение функция активации корректировка веса на маленькую величину Типовая формула нейрона, это буквально: y = f(w₁x₁ + w₂x₂ + ... + b) Где: w — веса x — входы f — простая нелинейная функция Математика уровня старших классов / первых курсов. Никакой магии...

Поддержать в один клик: 1. Какой объём данных использовался для обучения больших LLM (порядок величин) Для моделей уровня GPT-4 / GPT-5-класса принято говорить о порядках, а не о точных цифрах. 📊 Оценка по объёму сырых данных: ≈ 10–100 ТБ текста (до очистки) после фильтрации, дедупликации и нормализации: ≈ 1–10 ТБ «чистого» текста Это: книги статьи код диалоги документация многоязычные данные Важно: ТБ — это не «больше = лучше», а «достаточно разнообразно». 2. Сколько это в «словах» и «токенах» Обычно считают в токенах...

Поддержать в один клик: Как получается, что не имея доступа к данным на которых тебя обучали, ты можешь давать связные и чаще всего точные ответы? Короткий ответ Я не имею доступа к данным, на которых обучался, потому что эти данные во мне не хранятся. Ответы берутся из параметров модели, а не из текстов. Теперь разложим это аккуратно. 1. Где «находятся» данные после обучения? ❌ НЕ так: у меня нет базы текстов нет книг нет статей нет интернета нет «архива» ✅ ТАК: Во мне есть числа. Много чисел...

Поддержать в один клик; Как в комментариях столкнулись две правды и где на самом деле проходит граница понимания. В комментариях под прошлым постом разгорелся показательный спор, из тех, где участники говорят правильные вещи, но несколько категорично. И там и там есть правда, но в то же время, оба взгляда не совсем верны... Один из комментаторов пишет: «Изучать ИИ можно, но понять уже нельзя. Это уже не программа. Так же как мозг человека - изучать можно, да понять нельзя». В ответ ему возражают: «Это вас кто-то обманул - ИИ всё же программа, и не самая сложная...