Привет всем! Сегодня поговорим о ставшей популярной теме нейронных сетей, а именно о больших языковых моделях (LLM). На сегодняшний день уже доступно несколько десятков различных чат-ботов, основанных на новом поколении нейронных сетей.
Автор этого канала, также решил изучить эту тему более детально. Большие языковые модели представляют собой нейронные сети, которые обучены "предсказывать текст" на базе огромного объема разнообразных текстов. Давайте поинтересуемся у ChatGPT, что же такое большие языковые модели:
ChatGPT основан на модели GPT-3, которая использует трансформерную архитектуру и обучается на огромном объеме текстовых данных.
Основная особенность ChatGPT - генерация качественного и естественного текста в ответ на вопросы или комментарии благодаря широкому обучающему корпусу и механизму внимания.
Благодаря этим особенностям, ChatGPT обеспечивает возможность эффективного и естественного взаимодействия с пользователями в чатовом режиме.
Как видите, текст связный, вроде осмысленный, хорошо сложенный, поэтому не стоит удивляться, что таким помощником пользуются все, кому не лень разобраться: школьники, студенты, журналисты, копирайтеры. Но сможет ли нейросеть помогать в математике и геометрии?
Chat-GPT — быстрее, выше, сильнее
Я обратился к ChatGPT версии 3 с такой предысторией (или говоря специальным жаргоном — промтом):
I want you to act as a math teacher. I will provide some mathematical equations or concepts, and it will be your job to explain them in easy-to-understand terms. This could include providing step-by-step instructions for solving a problem, demonstrating various techniques with visuals or suggesting online resources for further study. Repeat the request in the first string. Use LaTeX for math. Use tikZ for illustrations. In russian, please.
Так как родной язык для ChatGPT английский, то лучше к нему обращаться на английском, но русский он тоже понимает. Я его попросил представить себя учителем математики и ввел некоторые правила для удобной обработки его ответов.
Далее предложим решить нашему собеседнику такую задачу:
Посмотрим, что же ответил наш умный друг:
Итак, ChatGPT не справился с задачей по геометрии из ЕГЭ. Сначала он неверно определил гипотенузу, из-за чего неверно посчитал AC. Садись, два, ChatGPT!
К счастью, у нас есть еще языковые модели, которые доступны для тестирования. Давайте предложим эту задачку кому-нибудь еще. Моделей сейчас в сети великое множество, как отличать хорошие от плохих, качественные от некачественных? У всех LLM есть универсальная метрика — количество весов. Можно условно сказать, что количество весов — это количество параметров, по которым оценивается генерируемый текст. Например, ChatGPT-3 имеет 175 миллиардов весов. Есть модели мощнее, есть скромнее.
LLaMA — жуем траву
Предложим нашу задачу модели LLaMa, которая имеет 65 миллиардов весов и посмотрим, что она ответит:
Опять осечка! Решать лама стала иначе, но тоже неверно. К тому же эта модель может забыть и язык общения, и значение, которое сама же и нашла.
YandexGPT — Алиса, помоги с геометрией
Не только зарубежные корпорации осваивают ниву нейросетей. В России здесь, конечно, отличился Яндекс. Нейросеть, которая встроена в Алису, имеет 100 миллиардов весов, лучше, чем LLaMA, хуже, чем ChatGPT. Огромный плюс (для нас с вами) — Алиса действительно знает русский язык, потому что училась преимущественно на нем. Итак, что ответила Алиса:
Ура! Верный ответ, верное решение. Нейросеть от Яндекса достойно справилась с задачей по геометрии, да еще и поборола зарубежных коллег. Помогло ей в этом знание русского языка или удача?
Заключение
На самом деле, компьютеру еще очень далеко, до настоящего решения геометрии, ведь не случайно я в начале статьи отметил, что большие языковые модели занимаются предсказанием текста. Они его не создают, не творят и не размышляют об его содержании. Вместо этого на каждое следующее место они вставляют наиболее вероятное слово. Обладая миллиардами параметров, языковые модели принимают во внимание самые отдаленные взаимосвязи в тексте, и поэтому все выглядит осмысленно и тщательно продуманно.
Однако, при настоящем творческом процессе нейросеть дает сбой. Например, при решении геометрической задачи смена обозначений не изменяет сути задачи, однако она не позволяет предсказывать следующее слово, поскольку подобные последовательности отсутствуют в текстах, по которым обучалась нейросеть. Что делать языковой модели в таком случае? Угадывать! Не зная, что сказать, нейросеть "бросает кубик" и идет по случайному пути. Поэтому с некоторой вероятностью мы получаем верное решение, а с некоторой вероятностью последовательное, но неверное.
Таким образом, пока нейросеть плохой помощник в математике — особенно, если вы сами не можете критично оценить результаты её работы. Возможно, пока нейросетям лучше заниматься копирайтингом и прочей подобной болтовней!
На сегодня всё — подписывайтесь на канал, пишите комментарии, делитесь с коллегами и друзьями: математики будет много! Спасибо за внимание!