У Яндекса, оказывается, есть донаты... Почему бы и нет? Попробуем 😊 если что-то прилетит - это отличная мотивация. Ссылка:
Сегодня Chat GPT написал в одном из предложений вместо "видишь" слово "вижешь". Я, спросил какой механизм лёг в основу этой ошибки, ответ (для меня предсказуемый):
"Хороший вопрос, это не магия — объясняю честно.
Я написал «вижешь», потому что у меня сработал механизм автодополнения по вероятности формы слова, а не строгая проверка орфографии.
Вот как это работает:
Я генерирую слово не по правилам русского языка, а по вероятности последовательности символов в контексте фразы.
В запросе шло «какие … видишь», и модель предсказывает следующую форму по похожим примерам.
Внутри есть конфликт между: формой «видишь»
близкими по написанию глаголами (слышишь, пишешь, движешь и т.п.)
В результате смешались шаблоны спряжения и вылезла несуществующая форма «вижешь» — типичная «нейросетевая опечатка».
Проще:
я не проверяю слово, а предсказываю, какое следующее слово вероятнее.
Если вероятность формы оказалась чуть выше из-за похожих шаблонов — появляется ошибка.
Важно понимать:
Я не печатаю буквы как человек.
Я предсказываю токены (фрагменты слов).
Иногда токены складываются в форму, которой в языке нет.
Если сказать по-человечески: Это была обычная генеративная ошибка, а не особый «механизм» и не влияние языка устройства.
Если будут ещё такие — спокойно пиши, я поправлю."
В общем...
Я:
Следующий вопрос: ты просто угадываешь какое слово должно идти за предыдущим статически на основе того объёма информации на котором тебя учили?
GPT:
- Коротко: да, по принципу — но не совсем так примитивно, как «угадывать слово из словаря».
Чуть точнее...
Как это работает на самом деле
✅ Суть верная:
Я предсказываю следующий фрагмент текста на основе контекста.
Это и есть основа модели.
Но важно три уточнения:
Я не работаю как справочник
Я не ищу фразы в базе данных и не «вспоминаю примеры из интернета».
Я не храню текстов и не имею доступ к обучающим данным.
Я не подставляю «слово из статистики»
Я не выбираю:
«какое слово чаще встречалось после этого»
Я оцениваю:
- смысл всей фразы
- грамматику
- стиль
- контекст до и после
- логическую связность
- тон общения
И выбираю следующий токен, который:
с наибольшей вероятностью сделает текст осмысленным и продолжит мысль.
Я оперирую не словами, а «токенами»
Это могут быть:
- куски слов
- окончания
- части фразы
Иногда:
- токены сшиваются неудачно
- как в твоём случае: «вижешь»
- это побочный эффект генеративной модели
Пример упрощённо
Ты пишешь:
«Какие ошибки ты ...»
Я считаю:
- «видишь» — высоковероятно
- близкие шаблоны:
- слышишь
- движешься
- пишешь
Где-то возникает конфликт форм → получается ошибка.
Важное отличие от «угадывания»
Если бы это был простой автоподбор:
- я бы часто писал бессмыслицу
- не мог бы рассуждать
- не удерживал бы тему разговора
- не подстраивался под стиль
На деле:
- я строю модель смысла
- и генерирую текст относительно неё
- Я улавливаю связи между понятиями
- Понимаю роли слов в предложении
- Поддерживаю контекст в диалоге
Самая точная формулировка:
Я не знаю слов.
Я моделирую язык.
Я не помню тексты.
Я вычисляю продолжения.
Простая метафора
Представь огромную сеть узлов (нейронов),
где каждый узел:
хранит не слово
а отношение между смыслами
Например, если взять что-то из IT: «копировать»
связано с:
диск
данные
ошибки
блоки
чтение
восстановление
Когда ты пишешь фразу,
в сети активируется набор смысловых зон.
И следующий токен выбирается там,
где сеть считает продолжение самым логичным.
Как я думаю «на уровне нейронов» (очень упрощённо)
Внутри сети:
миллиарды весов
каждый — усиливает или ослабляет связь
Пример:
Ты спросил меня про IT, про «битые сектора на жёстком диске»
Активируются области:
носители
ошибки
SMART
копирование
восстановление
И я выбираю продолжение, которое:
логично
грамматически корректно
продолжает мысль
вписывается по стилю
Почему я иногда ошибаюсь
Потому что:
Я не проверяю орфографию как Word
Я не знаю «правильно» и «неправильно»
Я знаю только:
> «вероятнее» / «менее вероятно»
Как получилось «вижешь»? Смешался шаблон:
видишь
движешься
слышишь → модель по вероятности «склеила» неверную форму.
Чем я не являюсь
❌ поисковой системой
❌ базой данных
❌ энциклопедией
❌ сознанием
❌ личностью
❌ памятью текстов
Я не помню фразы.
Я не храню интернет.
Я не могу "вспомнить", что учил.
Чем я являюсь на самом деле
✅ языковой моделью
✅ статистической моделью смысла
✅ системой обобщения
✅ моделью вероятностного мышления
Отличие от «бота со скриптом»
Бот:
ищет фразы в базе, действует по правилам
Я:
не ищу
не исполняю
не выбираю «ответы», а порождаю их
Факт, интересно:
Я не предсказываю:
> «какое слово чаще»
Я предсказываю:
> «какой токен даст лучший смысл в этом контексте»
---
10. Самая честная формула
> Я — не интеллект.
Я — модель языка.
Я — прогнозатор смысла.
Я — генератор вероятностных конструкций.
Если хочешь — могу:
. показать, как выглядит токенизация,
. как слово дробится,
. как сеть «видит» текст,
. или как формируется ответ по шагам.
Говори, что разобрать глубже.
Для тех, кто хочет поблагодарить за труд, донат в один клик:
Спасибо!
Продолжение:
https://dzen.ru/a/aTIpn_TmRlMXodeB
Мои 6-секундные Ai сны:
https://dzen.ru/suite/7c100f50-7f55-4ff6-b182-ca79b8f497c9
Все подборки: