102,3 тыс подписчиков
Контекст больше не предел: линейка русскоязычных энкодеров ruRoPEBert и как она создавалась
Для всех интересующихся NLP и современными DL-моделями ребята из Точки приготовили занимательный рассказ о том, как можно решить проблему ограниченного окна контекста для русскоязычных трансформеров, имея всего одну A100, около 30 гигабайтов текста и несколько дней обучения.
Около минуты
29 марта 2024
139 читали