2 месяца назад
Простая шумовая правка весов большой модели может заменить сложный fine-tuning
Новая работа из MIT ставит под сомнение привычное представление о том, что «экспертные» модели нужно долго и аккуратно дообучать. Авторы показывают, что достаточно одного шага — добавить гауссов шум в веса предобученной модели, повторить это много раз и скомбинировать ответы — чтобы получить эффективность, сопоставимую с профессиональными методами тонкой настройки вроде GRPO/PPO. Главная идея — «Neural Thickets» (нейронные заросли) Авторы вводят интуитивно контр-интуитивную картину: вокруг веса предобученной...