GPT2 (англ. Generative Pretrained Transformer – Генеративный предварительно обученный преобразователь) – это популярная модель Глубокого обучения (Deep Learning), позволяющая генерировать текст на основе предложения-тезиса. Относится к группе Трансформеров (Transformer). По мере того как модели-трансформеры становились лучше и приближались к созданию текста, который может сойти за человеческий текст, их обучающие наборы данных также выросли в размере. Например, базы TransformerXL, BERT-Base выросли...

Обзор основных концепций проектирования нейронных сетей Pytorch Изображение сделано автором Pytorch - это среда глубокого обучения, разработанная исследовательской лабораторией искусственного интеллекта Facebook в 2016 году...