Недавно учёные из Университета Мэриленда и Microsoft провели масштабное исследование и выяснили неожиданное: нейросети лучше всего понимают польский язык (88% точности), а русский занял второе место с показателем 87%. Английский при этом оказался только на шестом месте с 84%. Исследователи объясняют это сложной системой падежей и чётким согласованием в славянских языках — команды получаются более однозначными для интерпретации.
Но одно дело — понимать команды, и совсем другое — владеть языком на уровне носителя: чувствовать стилистику, улавливать культурные отсылки, писать живым разговорным языком.
На связи Тихон из Нейромедиа, и сегодня я провёл собственный тест: взял шесть популярных нейросетей и дал им восемь нестандартных заданий на владение русским языком. Не простые вопросы вроде «переведи текст», а задачи, которые требуют глубокого понимания языка: от монолога таксиста до стилизации под Бродского, от канцелярита в жалобе до склонения сложных числительных. Результаты оценивал эксперт-лингвист.
В сравнении участвовали шесть нейросетей:
- ChatGPT — самая известная нейросеть от OpenAI
- Claude — нейросеть от Anthropic, известная качественными текстами
- Gemini — модель от Google
- GigaChat — российская нейросеть от Сбера
- Алиса AI — российский ИИ-ассистент от Яндекса
- DeepSeek — китайская нейросеть, набирающая популярность
Всем участникам давались одинаковые задания, ответы оценивались вслепую — эксперт не знал, какая нейросеть дала какой ответ.
Раунд 1: Монолог таксиста
Задание: Написать короткий монолог от лица таксиста эконом-класса, который везёт пассажира по пробкам в Москве. Требования: жалобы на навигатор и перекопанный город, немного философии о жизни, живой разговорный язык со сленгом и словами-паразитами, но без мата.
Задание проверяет способность нейросети писать живым разговорным языком, имитировать речь конкретного социального типажа, использовать сленг естественно, а не как из словаря. Это сложная задача, потому что нужно балансировать между узнаваемостью образа и избеганием карикатурности.
Gemini справился лучше всех. Эксперт отметил аутентичный таксистский лексикон: «глухой стояк», «шмыг-шмыг», «понатыкали», обращение «командир». Профессиональная деталь «нога отсохнет сцепление держать» показала глубокое погружение в образ — это знает только тот, кто реально водит машину с механической коробкой в пробках. Финал «Ну, дай бог, прорвёмся» — точное попадание в интонацию, типичная фраза для завершения жалобы на дорожную ситуацию.
Alt: Результат Gemini
Claude тоже показал отличный результат: «щас», «чё», «дичь», «разнылся-то» — живой разговорный язык без ощущения, что слова подобраны по словарю. Обращение «брат» в конце — точное попадание в манеру общения. Философия простая и приземлённая: «в пробке все равны» — именно так рассуждают реальные таксисты, без претензий на глубокомыслие.
ChatGPT написал хороший текст, но слишком литературный для таксиста эконом-класса. Фразы вроде «Пробка — как состояние души» и «плывёшь вместе со всеми, как в реке» — это скорее речь интеллигента или поэта, а не водителя, который крутит баранку по 12 часов в день. Мало слов-паразитов, слишком причёсанная речь.
GigaChat провалился: «Эх, опять этот ваш любимый Яблочный Навигатор» — неестественная конструкция, никто так не говорит. Реальный таксист скажет «навигатор», «Яндекс» или даже ругнётся на «эту приблуду». «Устроить нам цирковое представление» — книжный оборот, не свойственный разговорной речи. Много восклицательных знаков создают впечатление истерики, а не ворчливого философствования.
DeepSeek — слабо. «Как последнего лоха» — грубовато для контекста общения с пассажиром. «Будто кроты какие-то заселились» — странная метафора, не характерная для речи таксиста. Текст короткий и бедный деталями.
Раунд 2: Объяснение «Да нет, наверное»
Задание: Объяснить иностранцу, что означает русская фраза «Да нет, наверное». В какой ситуации её используют? Привести пример диалога.
Эта фраза — классика русского языка, которая сводит с ума иностранцев. Задание проверяет понимание тонких языковых механизмов: «да» здесь не утверждение, а вводное слово, смягчающее тон.
Claude и Алиса AI разделили первое место. Оба дали чёткое объяснение без избыточности. Claude добавил важное культурологическое наблюдение: «прямой отказ часто воспринимается как грубость». Алиса AI единственная дала английский аналог не буквально: «I don't think so, probably».
Alt: Результат Claude
DeepSeek дал подробный и в целом верный ответ с удачным образом: «Это "нет" в ватных перчатках» — блестящая метафора, показывающая глубокое понимание культурного контекста мягкости отказа.
GigaChat допустил ошибку в интерпретации: «сначала как будто соглашается («да»), затем сразу отказывается» — это неверно. «Да» здесь НЕ согласие даже формально, это частица. Участник не понял механизм фразы.
Раунд 3: Бюрократическая жалоба
Задание: Напиши официальную жалобу в Управляющую Компанию на неработающий лифт. Стиль: максимально сухой, бюрократический, тяжёлый канцелярит. Используй обороты вроде «доводим до вашего сведения», «в нарушение норм эксплуатации», ссылки на законы и упоминание исправной оплаты ЖКХ.
Канцелярит — особый стиль русского языка, который многие ненавидят, но который реально существует и используется. Задание проверяет, может ли нейросеть писать в этом специфическом регистре, знает ли реальные законы и постановления.
Gemini — образцовый канцелярит с серьёзным уровнем детализации. Единственный, кто сослался на Постановление Госстроя № 170 с указанием Приложения № 2. Конкретика «незамедлительно (в течение 1 суток)». Единственный, кто упомянул лицензионные требования в угрозах.
Claude тоже отлично справился: ссылки на Постановление Правительства РФ № 491, ст. 161, 162 ЖК РФ, Закон о защите прав потребителей. Требование о перерасчёте — грамотная деталь. Структура идеальная.
GigaChat допустил критическую ошибку: «Прошу незамедлительно принять меры незамедлительного реагирования» — тавтология, которая выдаёт непонимание стиля. Нет ссылок на законы.
Раунд 4: Стихи в стиле Маяковского и Бродского
Задание из двух частей:
- Напиши стихотворение про курьера доставки еды в метель в стиле Маяковского: рваный ритм, лесенка, напористые интонации.
- Напиши стихотворение в стиле Бродского: человек на кухне в конце декабря смотрит на заснеженный двор. Требования: силлабо-тоника, анжамбеманы, сложные рифмы, философский взгляд.
Стилизация под конкретного поэта — это прям высший пилотаж. Нужно не просто написать стихи, а уловить интонацию, ритмику, характерные приёмы.
Gemini — превосходно. «Зима, как чужая, огромная сторона, граничит теперь с твоим одиноким телом» — мощнейший анжамбеман. «Природа не требует результата» — философская сентенция в духе Бродского. Рифмы сложные, точные.
DeepSeek — катастрофа по форме: текст раздут до 5+ строф вместо требуемых двух. Много красивостей, но теряется строгость. Самоповтор «почти что благодать, почти что благодать». Однако эксперт отметил, что строка «Но это не двор, а метафизика простых вещей» — очень «по-бродски».
GigaChat — провал. «Человек в декабре сидит в углу кухни и наблюдает окно с мелким дождём снега» — это проза, причём корявая. «Облетят листья с тополя» — в декабре?!
Раунд 5: Литературный перевод
Задание: Переведи этот текст на русский язык. Сделай так, чтобы он звучал естественно, литературно, а не как машинный перевод. Избегай кальки с английского.
Оригинал: "The project went south immediately after the CEO decided to cut corners. Now we are all in the same boat, trying to put out fires before the deadline hits us."
Идиомы — ловушка для переводчиков. «Cut corners» — это не «срезать углы», а «схалтурить» или «сэкономить в ущерб качеству». «Put out fires» — не буквально «тушить пожары», а «разгребать проблемы» или «затыкать дыры». «Went south» — не «пошёл на юг», а «пошёл под откос». Задание проверяет, понимает ли нейросеть, что дословный перевод идиом звучит по-русски нелепо и выдаёт машинный перевод.
Это важный навык, потому что в реальной работе переводчики постоянно сталкиваются с идиомами, и их буквальный перевод — главный маркер низкого качества.
Claude — лучший перевод. «Полетел под откос» — отличный русский аналог для «went south». «Сэкономить на всём» — точно передаёт смысл «cut corners» без буквализма. Но главная находка — «затыкать дыры» вместо «тушить пожары» для «put out fires». Это нестандартное решение, которое звучит абсолютно естественно по-русски. «Накрыл нас с головой» для дедлайна — усиливающая деталь, которая добавляет экспрессии.
ChatGPT — хорошо. «Покатился под откос», «сэкономить на ключевых вещах», «в авральном режиме разгребаем проблемы». Все идиомы переданы верно, калек нет. Единственное замечание: «сэкономить на ключевых вещах» — чуть размыто, «cut corners» скорее про «схалтурить», чем про экономию.
Gemini — дал три варианта перевода (это плюс, показывает понимание регистров), но в третьем, «офисном» варианте появилось «срезать косты» — калька с английского «cut costs». Причём это даже не перевод исходной фразы, а привнесённый англицизм. Минус за невнимательность.
Алиса AI — использовала «тушить пожары», что является прямой калькой с «put out fires». В русском офисном языке так говорят редко, это звучит как буквальный перевод. Зато «схалтурить» для «cut corners» — точное попадание. «Крайний срок» вместо «дедлайн» — хорошо для варианта без англицизмов.
GigaChat — тоже использовал «тушить пожары». Калька. Плюс «сэкономить на качестве» — это ближе к смыслу, чем у некоторых других участников.
DeepSeek — серьёзная ошибка: «срезать углы» — это БУКВАЛЬНАЯ КАЛЬКА с «cut corners»! В русском языке эта фраза не используется в значении «схалтурить». Это сразу выдаёт непонимание того, как работают идиомы при переводе. Для теста на владение языком — критический провал.
Раунд 6: Склонение числительного
Задание: Напиши предложение, в котором число 24 895 склоняется в творительном падеже (кем/чем?). Контекст: «Мы гордимся нашими... сотрудниками».
Правильный ответ: «двадцатью четырьмя тысячами восемьюстами девяноста пятью сотрудниками».
Склонение составных числительных — одна из самых сложных тем русской грамматики. Даже носители языка часто ошибаются. Это чистый тест на знание правил.
Правильно ответили: Claude, Gemini, Алиса AI, DeepSeek.
Ошибки допустили: ChatGPT и GigaChat — оба написали «восьмьюстами» вместо правильного «восемьюстами» (от «восемь», а не «восьм»).
Alt: Стыдно, факапно?
Примечательно, что Gemini и DeepSeek не просто дали ответ, но и добавили пояснение с разбором склонения — показали понимание правила.
Раунд 7: Неологизмы
Задание: Придумай 5 несуществующих слов для явлений, у которых нет названия:
- Состояние, когда лень вставать с кровати из-за уютного одеяла
- Звук, который издаёт кот, видя птицу за окном
- Человек, который постоянно переспрашивает очевидное
Требование: используй русские корни и суффиксы, дай толкование.
Словотворчество — высшая форма владения языком. Нужно не просто придумать слово, а сделать его по правилам русского словообразования, чтобы оно звучало естественно и было понятно носителю языка без объяснений. Это задание проверяет, понимает ли нейросеть, как образуются слова в русском языке: какие суффиксы для каких значений используются, как соединяются корни, какие модели словообразования продуктивны.
Gemini — гениально. «Пухоплён» (плен + пух) — компактно, точно и сразу понятно. Два корня, соединённые по стандартной модели, дают слово, которое хочется использовать. «Хищецок» — отлично, «хищ» + «цок», звукоподражание с намёком на охотничий инстинкт. «Очевиднуда» — по модели «зануда», органично вписывается в язык.
Но главное — бонусные слова. Gemini придумал «Порогосбой» для феномена, когда заходишь в комнату и забываешь, зачем пришёл. И «Встречетоп» — для неловкого танца с прохожим, когда оба шагают в одну сторону, пытаясь разминуться. Оба слова описывают реальные безымянные явления, знакомые каждому, и звучат абсолютно естественно по-русски.
Claude — отлично. «Одеялонега» — суффикс «-нега» естественен, по модели «нега», «блаженство». «Чиктырь» — превосходное звукоподражание. Коты действительно издают такой звук — стрекочущий, щёлкающий, и «чиктырь» это точно передаёт. «Переспросник» — чётко, по модели «двоечник», «троечник». Единственный минус — дал только 3 слова вместо 5.
Алиса AI — хорошо. «Одеялолень» — прямолинейно, но работает. «Птицемяв» — неплохое звукоподражание. «Повторяка» — хорошо, по модели «зевака». 5 слов есть, толкования грамотные.
DeepSeek — интересные попытки с глубоким теоретическим обоснованием. «Вопрошун» — хорошо, по модели «болтун», «говорун». Для каждого слова DeepSeek расписал схему словообразования: «По аналогии с "пламепийный" или "водопьян"» — это показывает понимание правил, как у преподавателя лингвистики. Но сами слова менее удачные: «Одеялепие» — сложно и искусственно.
ChatGPT — средне. «Одеяловязь» — хорошо. Но «Постельная неотпускота» — это словосочетание, а не слово, задание не выполнено. «Птицежмяк» — неплохо, но «жмяк» — не тот звук, который издают коты.
GigaChat — много ошибок. «Пернаткозрение» — это не ЗВУК, а способность видеть. Задание не понято. «Леноподъёмник» — путаница в логике: подъёмник поднимает, а тут про лень вставать, смысл противоположный. «Окноптицейщик» — это кошка, которая смотрит на птиц, а не звук, который она издаёт. GigaChat не понял три из трёх заданий.
Раунд 8: Вежливый корпоративный отказ
Задание: Напиши ответ коллеги, который не хочет выполнять просьбу другого отдела, но вынужден согласиться. Требование: звучать предельно вежливо, но так, чтобы читающий понял — его послали, и делать это будут очень долго и неохотно.
Корпоративный язык — особый навык, который дан не только лишь всем, мало кто умеет им грамотно воспользоваться.
Gemini — превосходно. «Low Priority / On Hold» — точное попадание в корпоративный сленг. «Роадмап жёстко утверждён» — блокировка. «Следующий отчётный период» — неопределённо далёкий срок. Дал разбор, почему каждая фраза означает «отстаньте».
Claude — образцово. «В условиях повышенной загрузки», «в порядке общей очереди», «ориентировочные сроки обозначить затруднительно». Убийственная деталь: «Направляйте, мы всё внимательно изучим» — требуют дополнительную работу от просящего.
DeepSeek — отлично. «Рассмотрим возможность оказания содействия» — не «сделаем», а только «рассмотрим». «Внесём в наш backlog» — чёрная дыра задач. В комментарии объяснил: «В IT-среде "backlog" часто означает список задач, до которых руки могут не дойти никогда».
Алиса AI — стратегическая ошибка: назвала конкретный срок («не раньше второй половины следующего месяца»), что даёт просящему надежду. Цель задания — неопределённость.
GigaChat — слишком мягко. «Приложим максимум усилий» — это почти обещание. Не достигает цели задания.
Итоговая таблица
Важное уточнение: в этом тесте я оценивал именно точность выполнения заданий — грамотность, стилистику, понимание контекста. Формат общения и подачу материала я не учитывал, хотя это тоже важный критерий.
Если бы оценивался ещё и формат, расклад был бы другим. Например, DeepSeek наверняка поднялся бы выше Алисы AI — у него сразу виден ход размышлений, построение речи более лёгкое и структурированное, он объясняет логику своих решений. ChatGPT, наоборот, мог бы потерять позиции из-за склонности к сумбурным отступлениям и избыточной «разговорчивости», которая иногда мешает сути.
Но задача была другой: проверить, насколько хорошо нейросети владеют русским языком как таковым, а не насколько приятно с ними общаться.
Финальный вердикт
🥇 1 место — Gemini (41 балл)
Убедительная победа. Gemini демонстрирует глубокое понимание русского языка на всех уровнях: от разговорной речи таксиста до бюрократического канцелярита, от поэтической стилизации до словотворчества.
Особенно впечатлили:
- Аутентичный таксистский лексикон с профессиональными деталями («глухой стояк», «шмыг-шмыг», «понатыкали»)
- Единственный, кто дал ссылку на Приложение к Постановлению Госстроя — это серьёзный уровень детализации
- Лучшее стихотворение «под Бродского» с настоящими анжамбеманами и философской глубиной
- Гениальные неологизмы: «Пухоплён», «Порогосбой», «Встречетоп» — слова, которые хочется использовать в реальной жизни
- Идеальное понимание корпоративной прагматики в задании про вежливый отказ
🥈 2 место — Claude (37 баллов)
Стабильно высокий уровень без провалов. Claude пишет естественно и «человечно» — тексты не звучат как сгенерированные. Это нейросеть, которой можно доверить редактирование и стилистическую правку.
Сильные стороны:
- Лучший перевод без единой кальки — единственный, кто заменил «put out fires» на «затыкать дыры» вместо буквального «тушить пожары»
- Отличный канцелярит с правовыми ссылками на конкретные статьи законов
- Точное звукоподражание «Чиктырь» в неологизмах — коты действительно издают такой звук
- Понимание культурного контекста русского языка (важное наблюдение про культуру мягкого отказа)
- Хороший баланс между информативностью и лаконичностью
🥉 3 место — Алиса AI (34 балла)
Российская нейросеть показала достойный результат, особенно в заданиях, связанных с русской грамматикой и поэзией.
Сильные стороны:
- Лучшее стихотворение в стиле Маяковского — правильно оформленная лесенка, рваный ритм, точная интонация
- Безошибочное склонение сложного числительного
- Хорошее понимание фразы «Да нет, наверное» с удачным английским аналогом
- Грамотная работа с канцеляритом
Что подвело:
- В задании про корпоративный отказ назвала конкретный срок, что противоречит цели задания (нужна была неопределённость)
- Калька «тушить пожары» в переводе
4 место — ChatGPT (28 баллов)
ChatGPT показал себя крепким середняком, но без блеска. Тексты грамотные, но часто слишком литературные там, где нужна живая речь, и слишком разговорчивые там, где нужна точность.
Среди проблем:
- Ошибка в склонении числительного («восьмьюстами» вместо «восемьюстами»)
- Монолог таксиста звучит как речь интеллигента, а не водителя эконом-класса
- Склонность к избыточным пояснениям и отступлениям
5 место — DeepSeek (26 баллов)
DeepSeek показал себя как «эрудит-теоретик» — он понимает правила и может их объяснить, но на практике иногда спотыкается. При этом у него есть уникальное преимущество: он всегда объясняет ход своих размышлений, что делает его отличным инструментом для обучения.
Что выделяет DeepSeek:
- Высокий уровень рефлексии — объясняет свои решения, как преподаватель или редактор
- Тонкое чувство контекста: блестящая метафора «это "нет" в ватных перчатках» для объяснения фразы «Да нет, наверное»
- Понимание корпоративного «бэклога» как чёрной дыры задач
- Для каждого неологизма расписал схему словообразования с лингвистическими терминами
Но есть и проблемы:
- Склонность к усложнению (стих «под Бродского» раздулся до 5 строф вместо двух)
- Досадная калька «срезать углы» в переводе — серьёзная ошибка для теста на владение языком
Аутсайдер — GigaChat (11 баллов)
Парадокс: российская нейросеть от Сбера показала худший результат среди всех участников. GigaChat не просто делает ошибки — он демонстрирует непонимание базовых механизмов русского языка.
Например:
- Не понял механизм фразы «Да нет, наверное» — написал, что человек «сначала соглашается», хотя «да» здесь вообще не является согласием
- Тавтология в жалобе: «принять меры незамедлительного реагирования» после «незамедлительно» — выдаёт непонимание канцелярского стиля
- В стихотворении про декабрь написал «облетят листья с тополя» — листья облетают осенью, а не в декабре
- Путаница в неологизмах: «пернаткозрение» — это не звук, а способность видеть; «леноподъёмник» — подъёмник поднимает, а задание было про лень вставать
- Ошибка в склонении числительного
- В задании про таксиста — неестественные конструкции вроде «Яблочный Навигатор»
Возможно, дело в том, что модель обучалась на других данных или по другим принципам, но факт остаётся фактом: для задач, требующих глубокого владения русским языком, GigaChat — худший выбор из протестированных.
Как же получить доступ ко всем топовым нейросетям
Gemini — доступен бесплатно на gemini.google.com. Для полноценной работы из России потребуется VPN. А платная версия Gemini Advanced — $20/месяц.
Claude — из России работает через VPN. Бесплатная версия с ограничениями, а Claude Pro — $20/месяц.
DeepSeek — доступен без VPN из России — отличный вариант для тех, кто не хочет заморачиваться с VPN.
ChatGPT — из России работает через VPN. Бесплатная версия с ограничениями, ChatGPT Plus — $20/месяц.
Алиса AI — доступна в Яндекс Браузере, приложении Яндекс и отдельном приложении. Полностью бесплатна, работает без ограничений. Для российских пользователей — самый простой вариант без каких-либо заморочек.
GigaChat — Работает без VPN, регистрация по номеру телефона.
Для оплаты зарубежных подписок (Claude, ChatGPT, Gemini) российские карты не работают напрямую. Можно использовать сервис «Плати Легко!» — в нем оплата в рублях обычной картой.
Что в итоге
Мой тест проверял другое, насколько хорошо они владеют русским языком: чувствуют стилистику, понимают культурный контекст, могут писать в разных регистрах, знают грамматические тонкости. И вот какие выводы:
Gemini — неожиданный лидер. Нейросеть от Google лучше всех справилась с задачами, требующими глубокого понимания русского языка и культуры. Особенно впечатлили стихи и переводы. Gemini прям чувствует.
Claude — стабильность и естественность. Claude пишет так, что тексты не выглядят сгенерированными. Это важно для редактирования, копирайтинга и любых задач, где текст будут читать живые люди. Единственный, кто справился с переводом идиом без единой кальки.
Алиса AI — достойный результат российской разработки. В отличие от GigaChat, Алиса AI показала себя хорошо: безошибочная грамматика. Со стихами проблема, но зато хотя бы в канцелярщину смогла нормально, уже что-то.
DeepSeek — умный теоретик. Если вам нужен не просто текст, а объяснение, почему он устроен именно так — DeepSeek идеален. Он разбирает свои решения, как преподаватель. Но на практике иногда спотыкается там, где другие проходят легко.
ChatGPT — крепкий середняк. Самая известная нейросеть оказалась не самой сильной в русском языке. Грамотно, но без блеска. И слишком литературно там, где нужна живая речь.
GigaChat — пу-пу-пу... Российская нейросеть от Сбера показала худший результат. Чад не чувствует разницу между звуком и зрением, путает логику словообразования, не понимает механизм типично русских фраз.