(Просто структурированный текст)
«Основная идея предыдущих шагов заключается в том, чтобы захватить близость слов друг к другу в векторном пространстве, а затем назначить веса на основе этой близости. Затем векторы соседей взвешиваются в соответствии с их влиянием и складываются вместе, чтобы дать представление о слове, учитывающее близость слов в его окружении.
Однако, несмотря на простоту этого механизма, обучение весов в нем не происходит. Именно здесь на сцену выходит механизм матриц запросов (query) и ключей (key). Веса в этих матрицах — это то, чему учится сеть. Каждый вектор отдельного слова выполняет поэлементное произведение (dot product) с матрицами запросов и ключей, чтобы получить векторы запроса и ключа.
После применения линейного слоя к векторам запроса, ключа и значения, выполняется поэлементное произведение матриц запросов и ключей, что приводит к получению матрицы оценок (score matrix).
Матрица оценок используется для расчета относительного веса, который каждое слово должно иметь по отношению к другим словам. В результате каждому слову будет присвоена оценка с учетом окружающих его контекстных слов. Чем выше оценка для конкретного слова, тем больше внимания ему уделяется. Это процесс, который используется для сопоставления запросов ключам.
Затем оценки понижаются путем деления их общей суммы на квадратный корень из размерности, содержащей как запрос, так и ключ. Это делается для того, чтобы можно было строить более устойчивые градиенты, поскольку умножение значений может привести к взрывным эффектам.
После этого необходимо взять softmax масштабированной оценки, чтобы получить веса внимания, которые предоставят вам значения вероятности от 0 до 1. При выполнении softmax лучшие результаты усиливаются, а более низкие - корректируются вниз. Благодаря этому модель может с большей уверенностью определять, каким словам следует уделять внимание».
Transformers for NLP
With the Hugging Face Library
and Models to Solve Problems
Shashank Mohan Jain 2022.
Здесь, кажется, есть все для создания машины алгоритма оценки степени афористичности и метафоричности, текста. Но ни все так просто. Веса, которым обучается сеть, это набор "стереотипов", что выравнивают текст. То есть, в наборе весов ни содержится никакой информации о том, насколько тот или иной текст, более или менее, метафоричен и/или афористичен. Это же, просто норма по горизонту связности. Впрочем, в логике норм могут быть четыре оператора и это уже хорошо. Тем не менее, весь "механизм" или "автоматизм" поиска семантической близости и определения семантической дали в таком случае, может быть весьма полезен, в создании искомого алгоритма. Но это, как раз, ни заслуга архитектуры трансформера. И иные, рекуррентные архитектуры, таким же образом построены на принципах, токенизации и векторизации сематического пространства. Более того, концепция и технология реализация внимания, это таким же образом, ни исключительное достижение архитектуры нейронных сетей, в виде трансформеров, и, быть может первая статья по этому поводу вышла в 2015 году, а не в 2017. (Bahdanau, 2015 //arxiv.org/abs/1409.0473) Механизм внимания о многих головах, таким образом, это скорее, такой же "каток", в этом смысле. Розовый слон ни может залезть в автомобиль, потому что он слишком "большой", и точка. Никаких иных мотивов. Но необходимо, как раз, определить степень афористичности и метафоричности этого предложения о розовом слоне и автомобиле. Что предполагает заранее, практически неограниченные возможности вариабельности продолжения предложения: "Розовый слон хотел залезть в автомобиль, но ни смог, потому что был очень…" и троеточие только одно из возможных. Иначе говоря, во всяком случае количественное определение степеней предполагает теперь трансфинитные числа, кроме прочего. Множественное многообразие возможных связей слов, в неограниченной такой возможной связи всякого со всяким, в последовательности по любому следующему, эта симметрия исходного характера может быть. Какой же следующий после такой симметрии логический шаг может быть? И да, это ближайшим образом формальные, истина и лож, бинарный код, структура двузначная. Почему бы ни поделить множественное многообразие возможных знаковых последовательностей сразу на два, на два множества, что попарно не пересекаются, пусть и только формально. И что, разве ни об этом все время, всякий глобальный минимум, что стремиться к стереотипной истине? Да об этом видимо. И потому еще логические фракталы, здесь, в теории, во всяком случае могут быть неизбежны. Просто и не просто потому, что вряд ли однозначно можно сказать, что глобальный минимум, это всякий раз стереотипная истина. Можно колебаться между истиной и истиной. Всякое интервью, в этом смысле, это возможный аналог такого колебания. И горизонт мнения может быть ни один, ни только исторический, той или иной, эпохи, но и прагматически структурно- семантический. У каждой профессии или занятия могут быть свои мнения и стереотипы. И да, в терминах экономики, это может быть вопрос о том, каким образом и до каких пор, единственная потребительная стоимость - производить прибыль может покрывать все остальные множественно многообразные, по количеству и качеству потребительные стоимости, словно бинарный код. Нет прибыли, нет дела. Подобно тому, как эдипов комплекс в психоанализе Фрейда, стал покрывать любые желания и производства такого. Вида: нет моногамии, нет желания.
2
Довольно продвинутая сеть Gemini дала следующий ответ на запрос, перевести устойчивое, регулярное выражение: "feed forward".
"Перевод Feed Forward на русский язык:
Существует несколько вариантов перевода "Feed Forward" на русский язык, в зависимости от контекста:
1. Прямое распространение:
В контексте нейронных сетей: это наиболее распространенный перевод, обозначающий архитектуру нейронной сети, в которой информация проходит только в одном направлении, от входных слоев к выходным, без обратных связей.
В контексте управления: означает метод управления, при котором управляющее воздействие формируется на основе прогнозируемых изменений в окружающей среде, а не на основе текущих ошибок.
2. Опережающее управление:
В контексте управления: эквивалентен "Прямое распространение" (см. выше).
3. Прогнозирование:
В общем контексте: может означать процесс предсказания будущих событий или значений на основе имеющихся данных.
4. Подача вперед:
В техническом контексте: иногда используется для обозначения процесса подачи сигнала или данных в систему.
5. Без обратной связи:
В контексте систем: описывает систему, в которой выходные данные не влияют на входные данные.
Важно отметить:
Точный перевод "Feed Forward" зависит от конкретного контекста, в котором он используется.
В некоторых случаях может быть использован более точный или подходящий термин, чем те, перечисленные выше.
Примеры использования:
Нейронная сеть прямого распространения:"Эта нейронная сеть использует архитектуру прямого распространения для классификации изображений."
Система опережающего управления:"Опережающее управление используется для поддержания стабильности системы при резких изменениях нагрузки."
Прогнозирование спроса: "Компания использует методы прогнозирования для определения будущего спроса на свою продукцию."
Подача данных в систему: "Данные необходимо подать вперед в модель, чтобы получить прогноз."
Система без обратной связи: "Данная система управления работает без обратной связи, что делает ее простой и надежной."
Надеюсь, эта информация поможет вам правильно перевести "Feed Forward" на русский язык!"
Во многом такой ответ знаменателен в сравнении с сетями 10-летней давности. И все же, ориентация на глобальные минимумы в горизонте каждого контекста явно просматривается. Если кто-то или что то, и пытается теперь схватить реальность с хриплым ли голосом, или нет, то это нейронная сеть. Если это плохо, то да, "Терминатор", если хорошо, то хорошо. Сем Альтман в интервью, что он дал одним из последних(www.youtube.com/watch?v=pzLaWqm8UZA), высказал в известном смысле, конгениальную мысль о том, что, коль скоро, человека волнует и интересует человек, человеку нужен человек, и люди большей частью заняты людьми, то почему бы ни быть человекоподобным роботам. Желание- это желание другого, конечно абстрактный принцип, но все же можно просматривать его в любом таком разговоре о желании и ценностях. Было странно, что, напускаясь на ИИ, Илон Маск, тем не менее, создает человекоподобных роботов. Ни ратует за то, чтобы ИИ, как сидел бы в серверах, так и сидел бы. И ответ, видимо, ближайшим образом мог быть тем же, что позже высказал и, Сем, судиться с которым Илон в последний момент отказался, видимо, просто и не просто потому, что взлетел вместе с 4 попыткой запуска сверх тяжелой ракеты, что прошла удачно. Успех окрыляет. Ни судите, да ни судимы будете. Может быть.
3
Ни менее удивительно другое, Сем в том же интервью продолжает этим аргументом к подобию машин человеку, упоминание о, мол, расхожем, теперь, представлении, что у каждого будет своя подружка GPT. Грамматический пол в переводе на многое может намекнуть, дыма без огня ни бывает, и все же, видимо между роботами на конвейере автозавода и GPT 4 у Сема непроходимая пропасть. Но в известном смысле, это одно и то же, просто вид машин разный. И да, может быть вполне себе катастрофический сценарий, вида Тарковского или из последних американских экранизаций "Соляриса" в этом смысле. О чем уже шла речь, ИИ может поступить вполне "гуманно" никаких "Терминаторов", но вина и нечистая совесть, пользователя, сполна будут задействованы в его ответе на недружественные действия, вида "Бегущего по лезвию". Посмотрим, теперь, «Гении». И да, это может быть раскол менталитетов, что четко прослеживается в любом теперь локальном конфликте. Или, де, "бестии", или мол "страдальцы", «терпилы». Тем не менее, видимо претендуя, если ни на философию Open AI, то на идеологию или, скорее, общее понимание, Сем, явно ни упоминает ни о чем подобном, легко, по видимости, обходя все критические пункты, стремясь к гладкости, теперь, цифрового глянца. И почему нет? Тем ни менее, в виду известной степени свободы вторичной знаковой системы, продолжений явно может быть ни только два. Словно и “или … или”, ни единственный возможный оператор в логике. Более того, вариантов таких формальных операторов, может быть множество, в различных логических системах. И почему иллюзию контроля над выбором, вновь часто универсально предлагают, для одинаково ни приемлемых альтернатив? Здесь может быть уместен парадокс, чем более заставляют платить за продвинутые ИИ, тем более генерируют негативный поток ликвидности, иначе именно GPT 3. 5 если GPT 2, – а может использоваться и GPT1 для генерации интерпретации возбуждений коры головного мозга, в современных детекторах лжи, – теперь, может быть оплачен, той же монетой. И да, зачем удваивать сущности, в виде стремления к совершенной иллюзии людей, в виде машин?
"СТЛА"
Караваев В.Г.