Generative Pretrained Transformer, или GPT, — это новаторская языковая модель, которая за последние несколько лет произвела революцию в обработке естественного языка (NLP). Разработанный OpenAI, GPT основан на архитектуре преобразователя и предназначен для генерации текста на естественном языке.
Развитие GPT можно проследить до 2017 года, когда Google выпустила архитектуру-трансформер. Архитектура преобразователя, основанная на механизмах внутреннего внимания, позволяет более эффективно обучать глубокие нейронные сети задачам NLP...