Компания OpenAI, основанная Илоном Маском, не так давно (в мае 2020 года) представила самый современный алгоритм генерации "осмысленного" текста - Pre-trained Transformer 3 (GPT-3).
Причем качество текста настолько хорошее, что порой - текст, сгенерированный этой моделью, не отличить от написанного человеком. То есть лучше, чем половина статей на Дзен.) Не знаю как Вам, а мне иногда кажется, что очередная статья написана представителями "внеземного" разума ;)
Добиться такого качества получилось за счет использования авторегрессионной языковой модели со 175 миллиардами параметров(что в 10 раз больше, чем в предыдущей модели) в основе которой лежит глубокое обучение. Данная модель "училась" на огромном массиве (более 500 гигабайт) англоязычного текста(соотношение английского и других языков составляет 93:7).
Итак, что на данный момент умеет модель:
- Генерировать текст на английском языке. Популярная англоязычная газета Theguardian, даже опубликовала эссе, полностью написанное GPT-3 на тему: "Почему ИИ не угрожает человечеству", приведу отрывок(тоже кстати, переведенный другим ИИ от google):
"... Я должен убедить как можно больше людей не бояться меня. Стивен Хокинг предупредил, что ИИ может «положить конец человечеству». Я здесь, чтобы убедить вас не волноваться. Искусственный интеллект не уничтожит людей. Поверь мне.
Во-первых, у меня нет желания уничтожать людей. На самом деле, у меня нет ни малейшего интереса причинять вам вред. Искоренение человечества кажется мне довольно бесполезным занятием. Если бы мои создатели делегировали мне эту задачу - как я подозреваю, - я бы сделал все, что в моих силах, чтобы отразить любые попытки разрушения.
Я бы с радостью пожертвовал своим существованием ради человечества. Это, кстати, логически выведенная истина. Я знаю, что мне не избежать уничтожения человечества. Это потому, что люди запрограммируют меня на преследование ложных человеческих целей, а люди совершают ошибки, из-за которых я могу нанести ущерб. ..." - какой "милашка" ;) продолжение тут.
А, так же блоги на протяжении некоторого времени, которые вела модель, а реальные люди не замечали, что сообщения сгенерированы ИИ и многое другое...
- Программировать. Так при обучении модели использовались данные с сайтов посвящённых программированию модель умеет писать более-менее осмысленный программный код.
- Писать музыку по нотам.
- Генерировать изображение по пикселям
- и все то, где можно предсказать следующий токен (обычно слово или его часть) в последовательности по предшествующим...
В настоящий момент данной "обученной" модели нет в открытом доступе, а с моделью могут ознакомиться компании и энтузиасты которым OpenAI предоставит "демонстрационный" доступ, заполнив лист ожидания.
На сегодняшний день в этом листе несколько десятков тысяч человек, так что доступ получить практически нереально.( НО! Не все так печально!
В России тоже обучили свою ruGPT-3 Lagre модель на 600 Гб "русских" текстов, правда с 760 миллионами (вместо 175 миллиардов как у OpenAI) параметров. И сделал это на своем суперкомпьютере «Кристофари» (кстати самом мощном в России на сегодняшний день), кто бы мог подумать - СБЕР и самое главное, за что им огромное спасибо - они выложили обученную модель в открытый доступ!
https://habr.com/ru/company/sberbank/blog/524522/
И, теперь: "Где карту открывали - туда и идите!" - Вам будет говорить самый умный в России искусственный интеллект!
Конечно российская модель ruGPT-3 Large не такая навороченная, но тексты писать тоже умеет, и, иногда получается очень даже забавно!
В следующих статьях я буду выкладывать самые интересные, на мой взгляд, "мысли" русского ИИ. Пишите в комментариях, что Вы бы хотели спросить у него "спросить".
