Механизм attention одна из самых мощных идей, продвинувших обработку естественного языка (и не только) в последние годы. Что же в нем такого увлекательного? Изначально он был предложен для сетей типа sequence-to-sequence, то есть на входе и на выходе последовательность. В оригинальной статье используется для машинного перевода с английского на французский. На картинке слева показаны веса α, которые и определяют механизм attention. Они задают то, сколько "внимания" (attention) нужно уделять каждому слову из входного предложения...

Бренд-менеджмент, тайм-менеджмент, проджект-менеджмент, аккаунт-менеджмент, сити-менеджмент и так далее. Представляю вам ещё один вид менеджмента - Атэншн (Attention)-менеджмент - управление вниманием. Зачем управлять вниманием? Потому что внимание ограниченный ресурс. Со всех сторон звучит: "Правильно используйте своё время! Время невосполнимый ресурс!" и тому подобное, но ни слова не говорят о внимании, хотя без внимания время, как ноль без палочки. Представьте маму, которая сидит с ребёнком, но её внимание в телефоне...