GPT (Generative Pre-trained Transformer) — это нейросеть, которая умеет генерировать связный текст. Её главный принцип: читать слова только слева направо и предсказывать следующее. Представьте продвинутую клавиатуру в телефоне. Вам показывают начало фразы: «Сегодня на улице отличная...». GPT анализирует контекст и предсказывает наиболее вероятное продолжение — «погода». Затем она добавляет это слово к предложению и снова предсказывает следующее: «погода,...», «стоит...», «выйти...». Так рождаются целые тексты. Обучение происходит через самообучение на гигантских объёмах книг, статей и сайтов. Модели показывают первые N слов реального текста, а она пытается угадать слово N+1...