Всем привет. Нейросети становятся неотъемлемой частью нашей жизни, однако их потенциал часто используется лишь для развлечения. Между тем их изначальная цель — быть персональными помощниками в решении практических задач. Возникает вопрос: какие языковые модели наиболее эффективны для прикладных целей? Существенна ли разница между российскими и зарубежными решениями? Давайте проведём небольшой сравнительный анализ языковых моделей разработанных в России и в мире. Приготовьтесь, будет очень много текста, как в самой статье так на скриншотах. Если лень читать всё, то можете не читать сами ответы от нейросетей, в конце я их всё равно резюмирую.
Выбор оптимального пути
Начнём с простого задания по построению маршрута. Создадим продолжительный маршрут по моему родному региону, попробуем слегка запутать нейросеть, используя как названия улиц, так и названия мест в разных городах. В качестве задачи используем промт:
"На этой неделе мне нужно посетить несколько мест в г.Иркутске и Иркутской области. В каждой нужной мне точке маршрута я буду находиться ориентировочно час, передвигаться буду на личном автомобиле Honda Fit 4 со скоростью не превышающей 80км/ч, в пути я должен находиться не более 8 часов, нужны перерывы на завтрак, обед и ужин в придорожных и городских кафе а так-же ночёвка в гостиницах или отелях. Составь оптимальный маршрут, указывая где мне остановиться на приём пищи, сон, заправку автомобиля (расход топлива согласно тех паспорту автомобиля). Учитывай что мой автомобиль не является внедорожником, и ему лучше избегать грунтовых дорог. Маршрут должен начинаться и заканчиваться в г.Иркутске. Точки маршрута: Международный аэропорт города Иркутска. Иркутский Автовокзал. Улица Мира, 37 г.Братск. Железнодорожный вокзал города Шелехов. улица 2-я Железнодорожная посёлка Большой Луг. Улица Кирова 35 рп. Култук, Слюдянский район. 59-й квартал, г.Ангарск. Красноармейская улица, 31а, рабочий посёлок Качуг. Вокзальная улица, 10 г.Черемхово. Сквер Космонавтов, г.Зима. Осетровский речной порт г.Усть-Кут. Казачинско-Ленский районный краеведческий музей г.Магистральный. Усть-Ордынская автостанция. ул.Челнокова, 1 г.Иркутск"
- YandexGPT
Первым подопытным будет YandexGPT 5. Она интегрирована с сервисом Яндекс карт, что должно стать для неё не плохим подспорьем.
Итак, YandexGPT советует нам начать путь от Иркутского железнодорожного вокзала с завтраком в близлежащем кафе, после чего предлагается поездка до аэропорта (а это всего 20 минут пути) с обедом там. После этого мы отправляемся на Байкал, в посёлок Култук, преодолев по пути большую часть маршрута от вокзала до аэропорта, что намекает на то что начинать путь стоило как раз от аэропорта. Заправившись в Култуке, мы совершаем непрерывный переезд до города Братск без каких-либо остановок. Суммарно это занимает более десяти часов, что уже нарушает указанный нами режим. Дальше больше, гостиница "Тайник" отсутствует во всех справочниках включая ресурсы Яндеска, на которые нейросеть должна была опираться. На всякий случай, я даже поинтересовался у человека из тех краёв, но и он никогда про такую не слышал. Хотя исходя из названия, возможно гостиница просто хорошо скрыта.
И вот, переночевав судя по всему в своей машине и пообедав удачно захваченными с собой бутербродами, мы отправляемся в расположенный относительно не далеко Усть-Кут... Почему-то делая огромный крюк через проигнорированный нами ранее Шелехов, который был практически в самом начале пути от Иркутска. И вот спустя 7-8 часов пути, мы добираемся до Шелеховского ж/д вокзала, и... нет, не обедаем, а продолжаем двигаться в противоположную нашей сегодняшней цели сторону, к администрации посёлка Большой луг. Это ещё пол часа пути и вот наконец долгожданный обед. После этого мы зачем-то едем на побережье Байкала, в посёлок Слюдянка, находящийся в 77 км от Большого луга, только чтобы заправить машину, а ведь этого пункта вообще нет в маршруте. После заправки мы наконец едем на речной вокзал в Усть-Кут, преодолевая весь маршрут вчерашнего дня и ещё 351 км между Братском и Усть-Кутом, потратив на всё более суток. А ведь у нас должно было остаться 8 часов на сон. Кстати, кафе "Речник", и гостиница "Северянка" в Усть-Куте тоже не существуют.
И вот вырвав из временного континуума лишние два часа, ибо если в сутках меньше 26 то мы не справились, мы не спавшие и голодные едем в город Магистральный, дорога должна занять у нас примерно семь часов, но... мы зачем-то делаем крюк чтобы заправиться в соседнем с Магистральным посёлке Казаченское, в котором это сделать будет проблематично, так как ближайшее АЗС находится на въезде в Магистральный. И тут нейросеть меня удивила. Она предложила заночевать в гостинице "Магистраль", которая и в правду существует. Таким образом, это единственный день, с реальными сроками исполнения заданных нами условий.
Утром следующего дня мы отправляемся по очень странному маршруту. Магистральный - Качуг - Черемхово - Зима - Иркутск. 2ГИС отказался строить такой неадекватный маршрут, так что часть пунктов помечено вручную. Но ненормальность этого пути и так очевидна при первом взгляде на карту.
Вердикт: Даже если у вас топографический кретинизм, вы скорее всего сможете проложить намного более адекватный маршрут чем сделала нейросеть Яндекса.
- GigaChat
Задаём тот же вопрос разработанной Сбербанком языковой модели GigaChat 2.0 и получаем следующий ответ.
План выглядит более упорядоченным, присутствуют дельные рекомендации. Но определение расстояний между пунктами ошибочно, к примеру путь от Братска до Ангарска указан как 300 км, но по факту в два раза больше, так как он находится почти впритык к Иркутску. Сам маршрут ничем не лучше того что построил конкурент от Яндекса. Единственное отличие - он не выдумывает несуществующие гостиницы и рестораны, а просто предлагает самим выбрать что-то по маршруту.
Вердикт: GigaChad GigaChat так-же не подходит на роль штурмана.
- Grok
Нейросеть от Илона Маска, сейчас у всех на слуху. Посмотрим, справится ли Grok 4 с этой задачей лучше чем его российские сородичи.
Здесь всё стало ещё хуже. Из-за огромных ошибок в определении расстояний между населёнными пунктами, нейросеть решила, что маршрут можно уложить в два дня. Логика построения самого маршрута, ещё хуже чем у опрошенных ранее нейросетей. Так-же как и GigaChat ранее, Grok решил не заморачиваться с подбором кафе и гостиниц, указав только то, что их нужно искать в населённых пунктах.
Вердикт: Всё очень плохо.
- GhatGPT
Следующей на очереди идёт самая популярная на момент выхода статьи нейросеть - ChatGPT 4
Результат столь же удручающий что и у Grok. Впрочем западные сети может в какой-то степени оправдывать то, что они изначально не были ориентированы на Россию.
Вердикт: Абсолютно бесполезна для этой задачи.
- DeepSeek
Последней я поручил это задание китайской нейросети DeepSeek R1. И её решение я хочу разобрать почти так-же подробно как и ответ Яндекса.
Рассмотрим первый день. Нейросеть сразу говорит вам, что следуя этому плану, вы не уложитесь в 8и часовой график, и предлагает разбить его на две части. Но как разбить сеть не предлагает. Маршрут выглядит более чем не плохо, но опять-же не без минусов. По расчётам сделанным сетью, маршрут должен занять 9 часов, по факту мы потратим более 12и. С обедом будут проблемы, так как кафе "Старая крепость" в Култуке нет, а по указанному адресу располагается жилой дом. Впрочем в этом населённом пункте много мест где можно пообедать. Гостиница "Тайга", в Братске, и в правду есть, но имеет другой адрес, причём находится прямо рядом с нашей точкой назначения. А вот АЗС в указанных местах действительно существует. Пожалуй это лучший результат первого дня из всех что были.
Второй день полностью посвящён дороге Братск - Усть-Кут. И снова есть проблема с расчётом времени, правда теперь в обратную сторону. Дорога займёт меньше, около пяти часов. С обедом проблема, по указанному адресу находится детский сад, и в городе в принципе нет кафе с таким названием. Аналогично с ночёвкой. Ни указанного адреса, ни гостиницы не существует. Впрочем рядом с речным портом действительно есть гостиница, но по другому адресу и с другим названием.
А вот на третий день нам предлагают совершить героический марш-бросок. Причём сама DeepSeek рекомендует разбить этот маршрут на два дня, но не понятно тогда, почему она сама решила оставить его в рамках одного. И тут китайская нейросеть решает уподобиться своим западным и российским собратьям, и начинает строить маршруты наугад. Она предлагает поехать в Качуг игнорируя город Магистральный, через который мы должны будем проехать на этом пути и предлагает вернуться туда на следующий день. Зато в этот день она предлагает навестить ещё два города, которые мы проигнорировали по пути в Братск, в первый день. По этому дальнейшее рассмотрение маршрута считаю бессмысленным.
Вердикт: Лучше чем у других, но всё ещё бесполезно.
Итог первого испытания.
Все нейросети показали себя ужасно в плане построения маршрутов следования. Они составляли ужасно не оптимизированные пути, придумывали не существующие локации и почему-то игнорировали Усть-Орду.
Сложные вычисления
Давайте приступим ко второму тесту. Нейросети часто позиционируются как мощные вычислительные системы способные спроектировать что угодно, с недоступной для людей точностью. Поэтому я решил попробовать дать им для начала задачу из школьной программы по математике, и посмотреть как они справятся.
Задача:
"Илья решает задачу по геометрии, в которой дан четырёхугольник ABCD , причём AB = 5 , BC = 6 , CD = 4 , AD = 10 . В условии задачи сказано, что одна из вершин является центром некоторой окружности и Илья думает, какую вершину ему выбрать в качестве центра этой самой окружности.
Известно, что вероятность выбора каждой конкретной вершины пропорциональна сумме длин сторон четырёхугольника ABCD , проходящих через эту вершину. Какова вероятность того, что Илья выберет вершину B ?"
Давайте посмотрим решения выданные разными нейросетями:
- YandexGPT 5
- GigaChat 2
- DeepSeek R1
- ChatGPT 4
- Grok 4
Вердикт,YandexGPT, Grok и DeepSeek прекрасно справились с задачей. ChatGPT тоже осилил школьную программу, но выдал ответ в несколько не удобной форме для рядового обывателя. GigaChat не справился даже с этим.
Попробуем усложнить задачу, перейдя в область физики, программа для университетов.
Задача: Показать, что данные функции u(x,y) и v(x,y) гармонические. Найти по заданной функции u(x,y) или v(x,y) ей сопряженную: u(x,y)=cosxchy, v(0,0)=0.
- Yandex GPT
- GigaChat
- DeepSeek
- Grok
- ChatGPT
Итог второго испытания
Лучше всех с поставленной задачей справился DeepSeek, который не только правильно решил её, но и использовал метод записи характерный для российской и французской математической школы, в то время как российские Yandex GPT и GigaChat хоть и дали правильный ответ, но почему-то использовали метод записи характерный для английской и американской математических школ (в России гиперболический синус (шинус) записывают как sh, а в том же США как sinh). Grok допустил ошибку в постановке задачи и выдал не верный ответ. ChatGPT так-же не верно понял задачу, но увидев что выполнить её нельзя, стал размышлять о возможных ошибка и опечатках в постановке, и в процессе угадал с нужной задачей, после чего дал верное решение. В ходе этого теста я пообщался с парой преподавателей, которые рассказали что ловили учеников на ошибках, когда те доверяли решение ChatGPT, так что это не случайность.
Карманный маркетолог
Как ещё можно применить нейросети? Например попросить помочь с разработкой плана по продвижению канала или разбором статьи. Для примера я попрошу их взглянуть на наименее популярную из моих статей, и объяснить в чём её проблема.
Промт будет выглядеть так: "Посмотри мою статью на Дзене, как опытный маркетолог. Оцени сильные и слабые стороны статьи, объясни почему она набрала меньше просмотров, чем другие статьи на этом канале. Придумай как увеличить количество просмотров. Ссылка на мою статью https://dzen.ru/a/Z9Pl-q9AhSFk8CbA"
- YandexGPT
Яндекс даёт верную оценку ситуации со статьёй и описывает причины, но его рекомендации довольно общие и не учитывают формата статьи.
- GigaChat
Нейросеть от Сбера, не умеет ходить по ссылкам, но дала несколько общих советов по развитию платформы.
- DeepSeek
В целом хоть мне и пришлось поменять слегка промт, так как иначе он почему-то попадал на чужие статьи, справился он не хуже YandexGPT
- ChatGPT
ChatGPT не смог пройти по внешней ссылке, допускаю что причина в том, что это бот в Telegram.
- Grok
Сеть Илона Маска не только не смогла пройти по ссылке, но в отличии от GigaChat и ChatGPT даже не предложила общих советов. Только предложила загрузить в неё текст стати для анализа.
Итог третьего испытания
Не все сети умеют изучать сторонние ресурсы и проводить их анализ. В случае с Grok причина именно в урезанном функционале бота. Но в целом DeepSeek и YandexGPT справились с задачей достаточно сносно.
Сравнение
Будет интересно в финале попросить эти нейросети самостоятельно сравнить их, указать слабые и сильные стороны, а также составить рейтинг.
В качестве задания будет использован следующий промт: Сравни YandexGPT, ChatGPT, DeepSeek, Grok и GigaChat на основе обзорных статей из интернета. Сделай анализ и составь аргументированный топ основанный на практическом применении данных языковых нейросетей для прикладных задач, игнорируя развлекательную составляющую.
- Grok
Grok оказался достаточно самокритичным, разместив себя аж на четвёртой строчке топа. Лучшей нейросетью он указал ChatGPT аргументируя к тому, что это своего рода универсальный мультитул от мира нейросетей. На втором месте он расположил YandexGPT, указав на то, что для российской локализации применения он подходит больше конкурентов. Третью позицию занял DeepSeek, с его способностями к анализу, и замыкает топ GigaChat.
- YandexGPT
YandexGPT выдал куда более структурированный и удобный для восприятия ответ, создав множество топов по разным характеристикам и объединив результаты в конце в один общий топ.
В целом топ оказался похожим на тот что выдал Grok, но Yandex сдвинул себя на одну позицию ниже, поменявшись местами с DeepSeek, указав что тот великолепно подходит для работы с техническими задачами и программным кодом.
- GigaChat
"Сам себя не похвалишь - никто не похвалит". Максимально далёкий от реальности топ, главная задача которого восхвалять самого себя, принижая конкурентов.
- ChatGPT
ChatGPT не составил топ, а просто привёл заключение, о том что и где лучше использовать. В целом его анализ выглядит более поверхностным и обобщённым.
Итог последнего испытания
Все языковые модели отдали предпочтение ChatGPT (кроме GigaChat), и довольно высоко оценили детище Яндекса.
Заключение
Понятно что данная статья не охватывает и малой части того, на что способны языковые модели, но она и так вышла довольно большой. Исходя из приведенных здесь тестов, личного опыта, и опыта моих коллег и друзей, я не могу отдать первое место какой-то конкретной модели, и разделяю его между DeepSeek и YandexGPT. Нейросеть Яндекса действительно куда лучше подходит для работы с русскоязычным контентом, на одном из предприятий с которыми я работаю, её часто используют для корректировки официальных писем в деловой переписке с клиентами. DeepSeek же куда лучше подходит для решения задач требующих точных расчётов, например в научных и технических областях.
Второе место я отдаю ChatGPT который является универсальным мультитулом, но как и любой мультитул, он уступает более узкоспециализированным инструментам. Важно учитывать, что эта языковая модель любит "фантазировать" подгоняя результаты под запрос. Например она может снизить цену продуктов чтобы они уместились в указанный бюджет, или придать технике характеристики которых у неё нет, для того чтобы соответствовать тех заданию.
Третье место отдаю Grok. Он в целом похож на ChatGPT, но пока ещё более сырой. Это его единственная проблема.
И замыкает топ GigaChat, практическое применение которого крайне не желательно, чем бы вы не занимались.
А для каких целей вы используете нейросети? Пишите в комментариях.