12 подписчиков
Задумывались ли вы, как читают наш текст нейросети? 🧠
Нейросети - это крайне сложный калькулятор, а в калькулятор мы не можем написать просто текст задачи. (я не про всякие умные программы для решения задач)😠
А значит, наш текст превращается в цифры!!! 1️⃣2️⃣3️⃣
Да
Давайте очень поверхностно разберёмся в этом 👀
А если стало интересно, то залетай на НЕЙРО-ФОРУМ, где уже есть статья. где мы подробнее, но так же простым языком всё разберём!🖥
Преобразование текста в цифры происходит в 2 этапа:
1️⃣ Разбиваем текст на "Токены".
2️⃣ Конвертируем "Токены" в "Вектора".
Не пугаемся
Щас всё расскажу😎
Идём по порядку
=== ТОКЕНЫ ===
Возможно, вы уже слышали такой термин "Токены"
Особенно знакомы с ним те, кто пользовался бесплатными нейронками с ограничением, зачастую как раз по тем самым "Токенам" 🪙 (не путаем с токенами в крипте)
Давайте разобъём текст на "Токены":
"Привет мир прекрасный!"
Мы разделим на 5 токенов:
"Привет", "мир", "пре", "красный", "!"
"Токен" - это один или более символов, в идеале формирующие целые слова, но не всегда.
А откуда берутся токены, почему в более новых моделях они больше похожи на слова, чем в старых, вы можете почитать в статье. 🖥
Тут всё описать физически не получится.🚫
В итоге, наш текст разбит на набор "Токенов".
Теперь надо конвертировать его в "Вектора".
=== ВЕКТОРА ===
Для этого действия у нас есть "Словарь токенов".
В нём у нас лежат все "Токены" и, что очень важно, "Вектора" соответствующий каждому "Токену".🐈⬛
Простой пример, мы как в словаре иностранного языка находим перевод из "Токена" в "Вектор".
Русский -> Английский:
"Мир"-> "World"
Токен -> Вектор:
"Мир" -> [53, 854, 755, ...]
"Вектора" - это уже математическая единица, набор цифр, как раз который уже понимает нейросеть.3️⃣2️⃣1️⃣
Так мы из текста получили набор "Токенов", которые конвертировали в набор "Векторов" которые передали в Нейросеть! 🧠
Подробнее и интереснее вы можете почитать в статье на форуме.🖥
У нас интересно!
1 минута
19 августа 2025