OPT (Open Pre-trained Transformers) — это семейство моделей НЛП от META, обученных на миллиардах токенов текста, из Интернета

Доступен код тренировки, инференса и сами веса моделей.

• Веса моделей OPT-125M, OPT-350M, OPT-1.3B, OPT-2.7B, OPT-6.7B, OPT-13B, OPT-30B уже доступны для скачивания (семь моделей для скачивания, ссылку привез)

• Веса 66B модели будут доступны в ближайшее время.

• Запросить доступ к 175B можно по этой

Github: https://github.com/facebookresearch/metaseq

Instructions: https://github.com/facebookresearch/metaseq/blob/main/docs/setup.md

Paper: https://arxiv.org/abs/2205.01068v2

Dataset: https://paperswithcode.com/dataset/superglue

#machinelearning #artificialintelligence #ai #datascience #python #deeplearning #bigdata #computerscience #tech #data