Трансформер — это архитектура нейронных сетей, в которой обработка информации осуществляется через механизм внимания, а не последовательного прохождения. В статье разъясняется, как трансформер устроен, почему он заменил рекуррентные модели, каким образом внимание между токенами формирует контекст, и как эта структура стала основой современных языковых и мультимодальных моделей. Текст охватывает принципы токенизации, механизм self-attention, устройство энкодера и декодера, а также философские и этические аспекты, связанные с архитектурой без субъекта...

Трансформеры: как всё начиналось Вселенная трансформеров от "А" до "Я" Задолго до того, как Майкл Бэй снял первые «Трансформеры», завоевавшие миллионы поклонников, история о воюющих между собой роботах была воплощена в мультсериалах, игрушках и комиксах. Но для того, чтобы стать мировым хитом умные роботы проделали свой "Шелковый путь" - из Японии в США. 11фотографийРождение трансформеровИстория о расе роботов с планеты Кибертрон берёт своё начало в Японии в 1980 году – именно тогда были созданы «предки» нынешних трансформеров, мало чем похожие на тех, к которым мы привыкли...