122 подписчика

Generative Pre-trained Transformer (GPT) - нейросеть, которая умеет генерировать связный текст

26 мая26 мая

~1 мин

GPT (Generative Pre-trained Transformer) — это нейросеть, которая умеет генерировать связный текст. Её главный принцип: читать слова только слева направо и предсказывать следующее. Представьте продвинутую клавиатуру в телефоне. Вам показывают начало фразы: «Сегодня на улице отличная...». GPT анализирует контекст и предсказывает наиболее вероятное продолжение — «погода». Затем она добавляет это слово к предложению и снова предсказывает следующее: «погода,...», «стоит...», «выйти...». Так рождаются целые тексты. Обучение происходит через самообучение на гигантских объёмах книг, статей и сайтов. Модели показывают первые N слов реального текста, а она пытается угадать слово N+1. Каждый раз, ошибаясь, GPT корректирует свои веса (вероятности взаимосвязи между словами). Со временем она учит грамматику, стиль, факты и логику, даже не имея явного «учителя». В отличие от BERT (который смотрит на контекст со всех сторон, чтобы понять пропущенное слово), GPT — это генератор, а не анализатор. Он не

Представьте продвинутую клавиатуру в телефоне. Вам показывают начало фразы: «Сегодня на улице отличная...». GPT анализирует контекст и предсказывает наиболее вероятное продолжение — «погода». Затем она добавляет это слово к предложению и снова предсказывает следующее: «погода,...», «стоит...», «выйти...». Так рождаются целые тексты.

Обучение происходит через самообучение на гигантских объёмах книг, статей и сайтов. Модели показывают первые N слов реального текста, а она пытается угадать слово N+1. Каждый раз, ошибаясь, GPT корректирует свои веса (вероятности взаимосвязи между словами). Со временем она учит грамматику, стиль, факты и логику, даже не имея явного «учителя».

В отличие от BERT (который смотрит на контекст со всех сторон, чтобы понять пропущенное слово), GPT — это генератор, а не анализатор. Он не умеет «заполнять маски», зато отлично продолжает диалоги, пишет код и сочиняет истории. Именно на GPT основан ChatGPT.