В машинном обучении мы давно привыкли к хаосу: случайная инициализация, разнообразные датасеты, шум в градиентах, разные архитектуры и режимы обучения. Логично ожидать, что модели, обученные в таких условиях, окажутся настолько разными, что объединить их можно будет разве что на уровне API — но не на уровне весов. Однако новое исследование от Johns Hopkins University демонстрирует противоположное: сотни нейросетей независимо приходят к одним и тем же “направлениям смысла” в пространстве параметров...