Нетрудно догадаться, что GPT — это аббревиатура, которая содержит ключи к понимаю того, как работает генеративный искусственный интеллект. Рассказываем, как расшифровывается GPT и что это значит.
GPT расшифровывается как Generative Pre-trained Transformer - «генеративный предварительно обученный трансформер».
Сегодня многие уже и представить себе не могут жизнь без нейросетей. Ведь они не только помогают в различных рабочих вопросах, но еще и ведут себя порой как человек, давая советы, подсказки, выслушивая чью-то боль и поддерживая эмоционально. GPT обладает удивительной способностью понимать человеческую речь, обрабатывать ее и даже вести диалоги так, будто перед вами живой собеседник.
За всем этим стоят сложные алгоритмы и огромный объем предварительного обучения, благодаря которым модель умеет находить вероятные и контекстно подходящие продолжения фраз. Разбираемся, как устроены GPT.
Что значит GPT
Первое слово в аббревиатуре — generative (генеративный) означает способность создавать новый контент. Модель не ищет готовые ответы в базе данных и не копирует заранее написанные фразы, а предсказывает, какое слово или символ с наибольшей вероятностью должны идти дальше, опираясь на контекст запроса и знания, полученные во время обучения. Из цепочки таких предсказаний и складывается текст в ответ на вопросы.
Слово pre-trained (предварительно обученный) говорит о том, что модель искусственного интеллекта, прежде чем начать работу с пользователем, проходила обучение на огромном массиве данных. Обычно они берутся из общедоступных источников, и из их исследования алгоритмы вычисляют закономерности языка, связи между словами, типичные структуры предложений. Именно благодаря этому предварительно обученный ИИ способен выполнять самые разные задачи — от ответов на вопросы до написания кода — без отдельного обучения под каждую из них.
Наконец, transformer — это тип нейросетевой архитектуры, представленный только в 2017 году. Трансформер прекращает тексты в токены, которые затем преобразуются в векторы, чтобы модели искусственного интеллекта было проще анализировать целые предложения одновременно, а не последовательно, улавливая связи между словами независимо от их расположения.
Вместе эти три элемента и образуют основу современных языковых систем, так что GPT — это не название конкретной нейросети, а пометка о том, каким способом конкретная модель училась и как именно работает.
Как ChatGPT получил свое название
С трехбуквенной аббревиатурой прежде всего ассоциируется именно нейросеть от OpenAI, но свое название она получила совершенно случайно. Имя ChatGPT, по словам главного исследователя OpenAI Марка Чена и руководителя ChatGPT Ника Терли, было дано ей за день до официального запуска. Рабочим названием продукта было «Chat with GPT-3.5» (чат с GPT-3.5), но впоследствии оно сократилось до простого ChatGPT.