Трансформер — одна из самых влиятельных архитектур нейронных сетей, которая сделала возможным эффективное обучение современных ИИ-моделей на огромных объёмах данных. До появления трансформеров господствовали рекуррентные нейронные сети. Они читали текст последовательно, слово за словом, а каждый следующий шаг зависел от предыдущего. Трансформер заменил этот подход механизмом самовнимания (self-attention): каждый токен одновременно «смотрит» на все остальные токены и решает, что на что влияет...