Если вы ещё сомневаетесь, что трансформеры повсюду, то вот еще одно тому доказательство.
Тринадцать дней назад закончилось соревнование Predicting Molecular Properties на Kaggle.
Для пар атомов в молекулах, имея тип связи и структуру молекулы, нужно было предсказать константу связи, то есть одно число.
Было дано еще много физической информации, но только для тренировочного сета, значит, использовать её напрямую не получилось бы.
Такие алгоритмы важны в области создания новых молекул, которые выполнения различных задач на клеточном уровне, в том числе для создания лекарств.
Так вот первые три места заняли решения, основанные на архитектуре трансформер. Первое место использует трансформер с графовым представлением молекулы. Второе - трансформер из Attention is All You Need, третье место взяли за основу BERT, то есть фактически тот же Attention is All You Need.
Много магии добавилось на этапе выбора представления молекулы. Кроме того, все три команды использовали предсказания, агрегированные из 13-14 моделей (ensemble).
Еще есть интересная статья о том, как иногда проходит сам процесс принятия решений в командной работе на Kaggle. Автор - российский data scientist Андрей Лукьяненко, его команда заняла восьмое место и выиграла золотую медаль
1 место - https://www.kaggle.com/c/champs-scalar-coupling/discussion/106575
2 место - https://www.kaggle.com/c/champs-scalar-coupling/discussion/106468
3 место - https://www.kaggle.com/c/champs-scalar-coupling/discussion/106572
https://t.me/machine_learning_explained