2 подписчика
GPT-1 (Generative Pre-trained Transformer-1) — это крупномасштабная неконтролируемая языковая модель, разработанная OpenAI. Это языковая модель на основе Transformer с более чем 1,5 миллиардами параметров, обученных на огромном корпусе веб-текстов. GPT-1 — это модель глубокого обучения, которая создает человекоподобный текст с помощью процесса, называемого языковым моделированием. Архитектура GPT-1 состоит из модели кодера-декодера на основе преобразователя. Кодер состоит из 12 слоев многоголового внимания, а декодер состоит из 12 слоев собственного внимания...