Привет. Рад всем, кто решил присоединиться к курсу. Приступим. Немного теории: а) При наборе текста, компьютером кодируется ЛЮБОЙ символ. Даже если это пробел. То есть, пробел (пустое пространство между словами), это тоже определенная информация, равная по объёму одной букве или знаку препинания. б) Желательно знать одну формулу: I = K * i, и следствия из неё: K = I / i; i = I / K i – информационный вес одного символа (измеряется в битах)...

Источник: Nuances of Programming Цель этой статьи  —  объяснить не то, как работает механизм самовнимания в трансформерах, а скорее то, почему он был разработан именно таким образом. Начнем с обсуждения того, какими способностями должна обладать модель интерпретации языка. Затем последует интерактивное создание механизма самовнимания. В процессе вы узнаете, что использование запросов, ключей и значений позволяет естественным образом моделировать отношения между словами, и что QKV-внимание  —  один из простейших способов решения этой задачи...