Cheelee — это платформа коротких видео, где пользователь получает монеты за просмотр ленты. Наше приложение скачали уже более 1,5 миллионов раз. Присоединяйся и ты к нашему комьюнити Чилеров! Для того, чтобы получать больше монет, тебе необходимо иметь ресурс Attention. О том, что это и как его повысить расскажем в сегодняшнем материале. ЧТО ТАКОЕ ATTENTION?
Attention — восполняемый ресурс, необходимый для получения монет и боксов при просмотре ленты с Digital-очками. 1 Attention равен 5 минутам вознаграждаемого просмотра ленты...
Self-attention в деталях Для начала следует рассмотреть то, как вычислить self-attention при помощи векторов. После мы перейдём к реализации с применением матриц. Первым шагом в вычислении self-attention является создание трёх векторов из каждого входного вектора кодера (в этом случае из каждого слова). Поэтому для каждого слова мы создаем вектор запроса, вектор ключа и вектор значения. Эти векторы создаются при помощи умножения вложения на три матрицы, которые были обучены нами. Стоит обратить внимание на то, что эти новые векторы меньше по размеру, чем вектор вложения...