Идея в том, чтобы модели могли мгновенно адаптироваться к новым задачам или информации — без долгого fine-tuning, сложных пайплайнов и огромных промптов. Сегодня у LLM есть проблема: чтобы обучить модель под новую задачу или добавить знания, обычно требуется: - дорогое и длительное дообучение - context distillation - или длинные, затратные по памяти промпты Sakana AI предложили другой подход. Они обучили гиперсеть (Hypernetwork), которая генерирует LoRA-адаптеры «на лету». Теперь вместо сложного процесса оптимизации достаточно одного forward-pass, чтобы: - адаптировать модель под новую задачу...