Процесс работы ChatGPT можно разбить на две части.
Часть первая – Обучение. Обучение модели ChatGPT состоит из двух этапов:
- Предварительное обучение: на этом этапе мы обучаем модель GPT на большом фрагменте интернет-данных. Цель состоит в том, чтобы обучить модель, которая может предсказывать будущие слова по заданному предложению таким образом, чтобы это было грамматически правильным и семантически значимым. После этапа предварительного обучения модель может заканчивать заданные предложения, но не способна отвечать на вопросы.
- Тонкая настройка: этот этап представляет собой трехэтапный процесс, который превращает предварительно обученную модель в модель ChatGPT, отвечающую на вопросы:
1. Соберите данные (вопросы и ответы) и обучите модель на этих данных. Модель принимает вопрос в качестве входных данных и учится генерировать ответ, аналогичный обучающим данным.
2. Соберите больше данных (вопрос, несколько ответов) и обучите модель с возможностью ранжирования ответов от наиболее релевантных до наименее релевантных.
3. Используйте обучение с подкреплением (оптимизация PPO) для точной настройки модели, чтобы ответы модели были более точными.
Часть вторая – Ответ на запрос.
Шаг 1: Пользователь вводит полный вопрос «Объясните, как работает HTTPS».
Шаг 2: Вопрос отправляется компоненту модерации контента. Этот компонент гарантирует, что вопрос не нарушает правила безопасности, и отфильтровывает неуместные вопросы.
Шаг 3: Если ввод проходит модерацию контента, он отправляется в модель ChatGPT. Если ввод не проходит модерацию контента, он сразу переходит к формированию шаблонного ответа.
Шаги 4-5: После того, как модель сгенерирует ответ, он снова отправляется компоненту модерации контента. Это гарантирует, что сгенерированный ответ будет безопасным, безвредным, беспристрастным и т. д.
Шаг 6: Если ввод проходит модерацию контента, он показывается пользователю. Если ввод не проходит модерацию контента, он переходит к формированию шаблонного ответа и показывает шаблонный ответ пользователю.
P.S. Поскольку OpenAI не предоставил всех подробностей, некоторые части диаграммы могут быть неточными.
