Забывание помогает обучению: как исследователи нашли ключ к эффективному обучению искусственного интеллекта
В недавней научной статье исследователи представили вывод, который на первый взгляд может показаться парадоксальным. Они провели эксперимент на модели RoBERTa, широко используемой в обработке естественного языка. Обычный метод обучения модели на новом языке требует большого объема текстов на двух языках для сопоставления значений слов. Этот подход требует значительных вычислительных ресурсов и не всегда эффективен. Исследователи предложили новый подход, удаляя слой векторного представления (embedding) перед обучением модели на новом языке, оставляя при этом другие слои нетронутыми...