Предыдущая статья
* * *
Как на самом деле работает «мозг» нейросети
Когда мы общаемся с чат-ботом, кажется, что на той стороне сидит очень начитанный и эрудированный человек. Слова появляются на экране плавно, мысли складываются в логичные цепочки. Легко поверить, что машина действительно понимает, о чем говорит.
На самом деле, под «капотом» самых продвинутых моделей (таких как ChatGPT или Claude) нет никакого волшебства. Там находится мощнейший математический аппарат, который занимается одной-единственной задачей: угадыванием следующего кусочка текста.
1. Словесное Лего: Что такое токены?
Компьютеры не умеют читать буквы или слова так, как мы. Чтобы ИИ «проглотил» текст, его сначала нужно превратить в цифры. Этот процесс называется токенизацией.
Представьте, что текст — это конструктор Лего. Токен — это одна деталька. Это может быть целое слово, кусочек слова («при-», «вет-») или даже знак препинания. Оптимизация этих «деталек» позволяет моделям обрабатывать гигантские объемы информации — например, обучающий набор FineWeb содержит 15 триллионов таких кусочков.
2. Главный секрет: Алгоритм Next-Token Prediction
В основе любой LLM лежит алгоритм предсказания следующего токена. Как это работает?
- Модель смотрит на то, что уже написано
- Математически вычисляет вероятность того, какое слово должно быть следующим
Пример из жизни: Если я скажу: «Я свою маму...», ваш мозг автоматически подставит слово «люблю». Нейросеть сделает то же самое: она «увидит», что в ее базе данных в 80% случаев после этой фразы идет «люблю», в 15% — «обожаю» и в 1% — «трактор». Модель просто выбирает наиболее вероятный вариант.
На картинке выше другой пример начала фразы «Искусственный интеллект – это не магия, а ...» и 4 варианта (слова) завершения с указанными вероятностями.
3. Как нейросеть «читала» все книги мира?
Чтобы научить модель языку, в нее «скармливают» почти весь интернет и библиотеки оцифрованных книг. Представьте, что модель читает «Войну и мир» методом скользящего окна:
- Она берет первые 1000 слов и говорит: «Это правильный порядок»
- Сдвигается на одно слово вперед и снова запоминает последовательность
Так, проделав это миллиарды раз, ИИ выявляет глубокие закономерности языка. Он понимает не просто смысл слов, а то, как они связаны друг с другом, чтобы в итоге достичь «смысловой цели» абзаца.
4. Иллюзия мышления
Важный момент: ИИ не «думает» в человеческом смысле. Когда вы видите, как слова бегут по экрану, модель в каждый конкретный момент времени не знает, чем закончится предложение. Она подбирает слова «на лету», как и люди в 99% случаев во время разговора.
Именно из-за этой вероятностной природы возникают галлюцинации — когда ИИ уверенно врет. Если правильного ответа не существует, модель всё равно обязана выдать самый «вероятный» по её мнению кусочек текста, и так рождаются сказки про «синий стоп-кран в самолете».
К слову, ChatGPT, который мне помогает писать статью — в основном с картинками, — иногда выдаёт прелестные перлы:
5. Так почему это работает?
Масштаб и Паттерны
Модели обучаются на миллиардах параметров и тысячах источников, выявляя глубокие структурные закономерности языка, а не просто заучивая фразы.
Глобальная связность (Teleological Structure)
Модель не просто шагает вслепую. Ее скрытые слои (эмбеддинги) несут понимание глобальной структуры текста. Она предсказывает токены, направленные на достижение конечной цели строки, абзаца. При этом учитывая контекст, в котором происходит общение с человеком – программисту, который пишет код на определенном языке программирования, нейросеть будет подсказывать синтаксически верные конструкции. А копирайтеру – будет выдана наиболее подходящая формулировка исходя от рассматриваемой темы и стиля повествования.
💡 Лайфхаки: Как использовать эти знания
- Правильный старт — залог успеха. Поскольку ИИ предсказывает следующее слово на основе предыдущих, любая ошибка в начале вашего запроса (промпта) будет накапливаться как снежный ком (эффект Error Pileups). Чем четче вы зададите начало, тем точнее будет финал
- Метод «цепочки рассуждений» (Chain of Thought). Если задача сложная, попросите ИИ: «Думай шаг за шагом». Это заставляет модель генерировать промежуточные токены, которые служат «подсказками» для неё самой при генерации финального ответа
- Задавайте роль. Когда вы пишете: «Представь, что ты занудный юрист», вы заставляете математическую матрицу выбирать слова из специфического «пласта» лексики, отсекая разговорные клише или термины из другой области
Как регулировать «градус креативности» нейросети и зачем ей нужна «температура»? Об этом — в следующем посте!
* * *
А вы замечали, в какие моменты ваш «цифровой помощник» начинает больше походить на Т9, чем на разумного собеседника? Пишите свои примеры в комментариях!
* * *
Следующая статья