Сегодня решил разобраться в том, как у искусственного интеллекта получается отвечать на вопросы, поддерживать беседу и понимать, что от него хотят, порой даже лучше, чем некоторые люди.
Решил погрузиться в тему, возможно немного поздновато, но лучше так, чем никогда. В общем, прошерстил интернет и понял, что статей на эту тему не так много, нашел пару очень интересных, но больше с уклоном в техническую часть. Я же хочу рассказать о работе GPT-модели максимально просто, что бы было понятно даже вашему дедушке. Давайте приступим.
Начнем с того, что языковая модель (именно этим является ChatGPT) это не человек запертый в корпус компьютера, это не что-то сверхъестественное и не что-то волшебное это лишь прокаченный Т9. Да именно Т9 и я не имею в виду какой-то сложный термин из мира нейросетей, это буквально Т9, который как будто бы всю жизнь был в ваших телефонах. Когда я прочитал этот довод в одной из статей, которую я нашел на просторах интернета, я впал в ступор, было такое чувство будто я узнал, что Деда Мороза нет.
И так, что же подразумевается под таким казалось бы нелепым сравнением, давайте разбираться.
Как работает Т9?
Тут в принципе все просто, под капотом Т9 - нейросеть. Она обучена на большом количестве текстов, в том числе и на тех, которые вы печатаете с клавиатуры своего смартфона. Когда вы набираете предложение, Т9 предлагает вам слова, которые, как она (автозамена), считает больше всего вписываются в контекст уже набранного предложения. Я думаю, что для понимания этого достаточно, если будет интересно, оставьте комментарий, я разберу это подробнее.
ChatGPT это Т9...
Что же я имею в виду, когда говорю, что это одно и то же. Давайте теперь разберем принцип работы ChatGPT. Данная языковая модель, Т9 кстати тоже таковой является, с точки зрения терминологии это уже одно и тоже, в общем, ChatGPT по сути отличается тем, что он обучен на гораздо большем количестве текстовых данных, страшно даже представить это количество.
Когда вы задаете вопрос ChatGPT он начинает просчитывать вероятность, того, какое слово подойдет лучше.
Например. При запросе: "Величайший писатель всех времен" ChatGPT навряд ли ответит что-то вроде "апельсин" или "яблоко", ответом будет "Лев Толстой" или "Уильям Шекспир". Все потому что в текстах на которых обучена языковая модель, в подобном контексте, намного чаще встречались именно эти авторы, а не фрукты и овощи.
А что с генерацией более объемных ответов, ведь ChatGPT редко отвечает кратко, только если его не попросить. Тут все еще проще, chatGpt лишь угадывает следующие слово на основе предыдущих, далее оно добавляет его в контекст и начинает угадывает слово после него и так пока модель не посчитает нужным закончить свой ответ или пока вы не попросите ее остановиться.
Заключение
Можно сделать вывод, что никакой магии нет, это лишь кропотливая работа математиков и программистов, которая длилась более 70 лет, хотя то, что мы смогли дойти до такого, это уже и есть чудо.
Я надеюсь, что я смог объяснить принцип работы современных языковых моделей. Опять же, я постарался сделать это максимально кратко и понятно для человека не погруженного в этот пугающий мир машинного обучения. Если статья была интересна и помогла узнать вам что-то новое, поставьте лайк и подпишитесь на канал. Так я пойму, что я делаю это все не зря.