Добавить в корзинуПозвонить
Найти в Дзене
Cg_Stas про нейросети

🤖 Нейросеть не понимает слов

🤖 Нейросеть не понимает слов. Но и мы — тоже. Когда я узнал, что ChatGPT не понимает слов, у меня случился внутренний щелчок. Он видит только токены — цифровые значения наиболее частых сочетаний байтов, оставшихся от обработки всего текста с интернета. Собираются все ссылки с интернета - фильтруются и с них вытаскивают текст в огромное полотно - чтобы сократить эту писанину каждый символ становится нулями и единицами - затем их объединяют по 8 в биты - затем в байты - а уже затем частые объединения байтов в Токены 5000 символов текста - в 40000 битов - в 5000 бит и в 100277 токенов для Gpt 4 (в два раза больше у 4о) И разница: “Hello world” — 2 токена. “Привет мир” — 5 токенов. (и больше не удивляемся в разнице выдачи) А затем берутся некоторые количества контекста (совокупностей токенов) и прогоняется через все данные для выставления значения параметров - чисел вероятности встретить следующий токен. Фраза: “Я ем в…” — и он перебирает вероятности: в кафе, в машине, в одиночестве

🤖 Нейросеть не понимает слов. Но и мы — тоже.

Когда я узнал, что ChatGPT не понимает слов, у меня случился внутренний щелчок.

Он видит только токены — цифровые значения наиболее частых сочетаний байтов, оставшихся от обработки всего текста с интернета.

Собираются все ссылки с интернета - фильтруются и с них вытаскивают текст в огромное полотно - чтобы сократить эту писанину каждый символ становится нулями и единицами - затем их объединяют по 8 в биты - затем в байты - а уже затем частые объединения байтов в Токены

5000 символов текста - в 40000 битов - в 5000 бит и в 100277 токенов для Gpt 4 (в два раза больше у 4о)

И разница:

“Hello world” — 2 токена.

“Привет мир” — 5 токенов.

(и больше не удивляемся в разнице выдачи)

А затем берутся некоторые количества контекста (совокупностей токенов) и прогоняется через все данные для выставления значения параметров - чисел вероятности встретить следующий токен.

Фраза: “Я ем в…” — и он перебирает вероятности:

в кафе, в машине, в одиночестве, в маке…

и выбирает самое вероятное — по статистике.

Затем правда его обучают люди и люди+ии на варианты ответы «как надо». Тогда эти параметры еще двигаются. Прямо как от родителей в детстве у людей.

Можно подумать, что ИИ Т9 просто, но потом меня пробило:

Я тоже не понимаю слова. Меня тоже обучали правильным ответам

🧠 ИИ и человек устроены пугающе похоже.

🎥 В эфире в субботу показал, как на самом деле устроено мышление ИИ.

И почему понимание этого переворачивает то, как вы пишите промпты, думаете, продаёте, общаетесь и принимаете решения.

📌 До 10 числа доступ к записи ТУТ бесплатно совершенно

А завтра поделюсь своим инсайтом от ИИ про то, почему мы тоже слова не понимаем и как это полностью формирует нашу личность!

🔥Огонечкам поддержки спасибо огромное, запись уже больше 250 человек за день глянули благодаря вам!