Во вторник OpenAI поделилась своим окончательным поэтапным выпуском языковой модели GPT-2 объемом 1,5 миллиарда параметров.
Когда OpenAI впервые выпустила GPT-2 в феврале этого года, были высказаны опасения по поводу его потенциального неправильного использования. В этот момент компания решила воздержаться от совместного использования кода языковой модели и набора данных для обучения.
После нескольких месяцев изучения деталей GPT-2, OpenAI теперь решил, что настало время, чтобы позволить дальнейшее исследование и понимание синтетического текста. Таким образом, они приняли решение поделиться параметрами модели.
Что же OpenAI заметил в GPT-2?
Совершенно ясно, как система, которая создает алгоритмы для завершения всего текста или предложения, может быть неправильно использована. Поддельные новости, истории приходят на ум, среди других гнусных применений ИИ-генерируемого текста.
Сокрытие кода их языковой модели и обучающего набора данных шло вразрез с тем, во что верил OpenAI. Однако, по соображениям безопасности, они решили сделать именно это, и они все еще хотели найти способ обмена информацией.
Таким образом, за последние девять месяцев OpenAI наблюдал GPT-2, чтобы гарантировать, что они могут безопасно обмениваться своим кодом
Независимо от того, был ли общий набор данных обучения для конкретной задачи или нет,GPT-2 по-прежнему был способен генерировать умопомрачительно хороший машинный перевод, ответы на вопросы, понимание прочитанного и обобщение.
Поделившись своей моделью GPT-2, OpenAl сказала, что они делают это, чтобы "помочь изучению исследований по обнаружению синтетического текста,
Пример генерации текста с помощью GPT-2
Можете ли вы сказать, где GPT-2 начинает генерировать текст в следующем абзаце?
"Отбросив любые технологические страхи в сторону, недавно выпущенный полноразмерный трансформатор GPT-2, несомненно, будет хитом среди технической толпы. Новый трансформатор также будет доступен в меньшей емкости, чтобы освободить место в более крупном GPT-1.
Подчеркнутый текст это с генерированный с помощью GPT-2
"Отбросив любые технологические страхи в сторону, недавно выпущенный полноразмерный трансформатор GPT-2, несомненно, будет хитом среди технической толпы. Новый трансформатор также будет доступен в меньшей емкости, чтобы освободить место в более крупном GPT-1. Новый трансформатор GPT-2 имеет 4 Штыря (вместо 5) и более низкое сопротивление на 1400 ом против 1500 ом, что делает его совместимым со всеми стандартными звуковыми устройствами. Я слышал шепот, что новый GPT-2 сможет обеспечить такое же количество тока, как и GPT-1. У меня нет никакой информации о новом трансформаторе GPT-2, поэтому я не могу подтвердить или опровергнуть это заявление.
Самому опробовать GPT-2 можно здесь. (Русский не поддерживает только Английский)