Представьте, что вы находитесь за штурвалом огромного космического корабля и пытаетесь выбрать оптимальный маршрут среди миллиона возможных направлений. Выбор неправильного курса может привести к потере времени и ресурсов. Примерно так выглядит задача выбора идеальной конфигурации для обучения крупных моделей машинного обучения. В недавнем исследовании группа ученых из MIT, Стэнфорда и Иллинойсского университета предложила революционный подход к решению этой задачи – метаградиентный спуск (MGD)....