Трансформер — это архитектура нейронных сетей, в которой обработка информации осуществляется через механизм внимания, а не последовательного прохождения. В статье разъясняется, как трансформер устроен, почему он заменил рекуррентные модели, каким образом внимание между токенами формирует контекст, и как эта структура стала основой современных языковых и мультимодальных моделей. Текст охватывает принципы токенизации, механизм self-attention, устройство энкодера и декодера, а также философские и этические аспекты, связанные с архитектурой без субъекта...

В фондах Политехнического музея хранится редкий геодезический инструмент, памятник науки и техники — астролябия-теодолит. Как гласят надписи на буссоли и укладочном ящике, изготовлен этот трансформер в 1866 году фирмой А. Шперлинга в Санкт-Петербурге. Известный «физико-механик» военно-учебных заведений А. Шперлинг в середине ХIХ века изготавливал для Межевого корпуса геодезические инструменты высокого качества: теодолиты, нивелиры, в том числе карманные, мензулы, эклиметры, буссоли, эккеры, а также геодезические астролябии...