RuBERT был натренирован на русской части Википедии и новостных данных. Эти обучающие данные были использованы для создания словаря русских токенов. В качестве инициализации для RuBERT была взята многоязычная версия BERT-базы...