Ответить на этот вопрос сложно одним предложением. Если коротко, то алгоритм уточняет новые ответы с каждым новым вопросом.
Но что под капотом? Где можно, а где нельзя применять нейросеть?
Сначала было слово
Точнее более 225 миллиардов слов из книг, веб-сайтов, блогов и Википедии. Ботом изучено как обычно слова используются вместе, какие встречаются чаще.
Так словам и словосочетаниям присваивается «смысловой вес». Например, слово «стол» нейросеть увидит как набор цифр, означающее его важность.
Чтобы помочь ChatGPT понимать «смысловой вес» в рамках диалога, создатели использовали три разных метода обучения:
- Сначала реальные люди сами написали вопросы и ответы, чтобы показать примеры боту.
- Затем люди оценили созданное ботом, подсказывая ему хорошие ответы.
- Наконец, набравшись опыта, модель научилась оценивать свои собственные ответы, чтобы постоянно совершенствоваться.
Механизмы внимания
Может показаться, что раз бот умеет оценивать свои ответы, то он понимает о чём говорит?
Для бота слова, словосочетания, предложения и сам диалог — это выученные символы переведённые на язык «смыслового веса». Он лишь улучшает алгоритм распределения важности смысла в диалогах.
Алгоритм примечательный. Работает сразу два механизма внимания:
- Self-attention: оценивает ответ нейросети прямо во время написания;
- Сross-attention: сравнивает запрос человека и ответ, который пишет модель.
Каждое слово на выдаче «взвешивается» по отношению к тому, что вы спросили, к самому себе и к слоям созданного кода между ними. Так нейросеть удерживает внимание на теме.
Благодаря этому и обладанию большого объема данных, может создаться иллюзия понимания и всезнайства. Эти же данные накладывают на него серьёзные ограничения.
Возможности
Бот знает только загруженную заранее информацию, прямо как человек. Чтобы обучить нейросеть новой или узкой теме, необходимо дать ваш контекст.
С самим ботом пока такое сделать сложно. Он быстро забывает большие сообщения, а объяснять сложные темы приходится больше чем в пару запросов.
Но можно вместе с разработчиком воспользоваться OpenAI API. Например, загрузить весь текст с вашего сайта и узнать какую-то конкретную информацию о нём.
Это сильно отличает его от предыдущих AI, которых после заливки нового текста нужно ещё заново учить. По сути новая языковая модель учится понимать ваш текст сам, без людей.
Недостатки
К сожалению, его ответ всё равно сильно ограничен. Работая в основном со «смысловым весом», обученная людьми, на предвзятом людьми контенте, модель выдаёт заранее принятые ответы.
Оценивая себя, бот вынужден создавать ответ не абзацами, а выстраивать речь постепенно, как люди. Именно поэтому он пишет ответ по словам.
С одной стороны, это помогает держаться заданной темы. С другой стороны, мешает за неё правильно выйти. Нам это не мешает, так как оцениваем мы образами, а лишь говорим постепенно.
Поэтому ChatGPT хорош, например, для первых исследований, где вам подойдут поверхностные ответы. И очень плох там, где нужно придумать необычные хитрости.
Заключение
Стоит рассматривать ChatGPT именно как очень продвинутую речевую модель, но не более.
Человек ограничен в оценке большого количества символов и тут появляется хороший для этого инструмент. Правда мы куда лучше умеем не только распределять «смысловой вес», но и ещё переопределять, отрицать его, иронизировать над ним, создавать подсмыслы.
Нейросеть классно внедрять в старые идеи для оптимизации работы. Возможно, ChatGPT не сможет заменить вас. Но тот, кто умеет им пользоваться — вполне может.
——
Привет, это Даня.
Если понравилась статья, подпишись на телеграм канал. Там я больше рассказываю о современных цифровых продуктах, своём агентстве и работе с кочевым образом жизни.
