Generative Pretrained Transformer, или GPT, — это новаторская языковая модель, которая за последние несколько лет произвела революцию в обработке естественного языка (NLP). Разработанный OpenAI, GPT основан на архитектуре преобразователя и предназначен для генерации текста на естественном языке. Развитие GPT можно проследить до 2017 года, когда Google выпустила архитектуру-трансформер. Архитектура преобразователя, основанная на механизмах внутреннего внимания, позволяет более эффективно обучать глубокие нейронные сети задачам NLP...

В этой статье мы поговорим о речевых моделях, а конкретнее нашумевшей среди сообщества дата саентистов модели GPT-3. Речевых моделей в мире много. Все начиналось с базовых алгоритмов машинного обучения как Support Vector Machine и доросло до трансформеров такие как Bert, GPT. Сегодня нейронные сети способные на многие фантастические вещи которые десятилетие назад казались фантастикой. В современности мы применяем нейросети в разных задачах, например генерация текста ,перевод текста , speech to text, чат боты, консультация и т...