я уже не раз говорил, что Sakana AI сейчас делают одни из самых интересных вещей в индустрии (1, 2); и вот опять - они представили алгоритм естественных ниш (Natural Niches) - это новый эволюционный алгоритм для "обучения" моделей; обучение в кавычках, т.к. (любой) эволюционный алгоритм ищет наилучшую модель путем смешивания существующих моделей, а не изменения одной исходной модели (упрощенное пояснение на первой картинке)
в подходе Sakana я бы выделил две особенности: 1) они производят смешивание не по слоям, а условно делят модель пополам в произвольном месте и 2) они подбирают пару для скрещивания так, что где одна модель хороша, другая плоха и наоборот
подход демонстрирует, что произвольная инициализация лучше, чем предобученные модели (вторая картинка); но что интересно, их подход демонстрирует эффективность не только на MNIST, но и на современных задачах (третья картинка); кстати, последнее похоже на подход Chat Vector
