Стандарт. Тема 30 интегративного курса “Естествознание” к.б.н. Феликса Каспаринского. Тематический модуль 4 “Освобождение”. Звук упреждает
Простая шумовая правка весов большой модели может заменить сложный fine-tuning
Новая работа из MIT ставит под сомнение привычное представление о том, что «экспертные» модели нужно долго и аккуратно дообучать. Авторы показывают, что достаточно одного шага — добавить гауссов шум в веса предобученной модели, повторить это много раз и скомбинировать ответы — чтобы получить эффективность, сопоставимую с профессиональными методами тонкой настройки вроде GRPO/PPO. Главная идея — «Neural Thickets» (нейронные заросли) Авторы вводят интуитивно контр-интуитивную картину: вокруг веса предобученной...