Найти в Дзене

Тестируем популярные нейросети: Неожиданные результаты задачи по Java.

Оглавление

Недавно мы опубликовали задачу на знание дженериков от нашего эксперта Сергея Галанова. Мы получили много ответов в наш Telegram-чат, и многие из них оказались неверными...
После публикации
правильного ответа один из наших подписчиков честно признался, что использовал для решения чат DeepSeek, который и подсказал ему неверный вариант.

Тогда мы решили сами протестировать 6 популярных ИИ-чатов и выяснить, сколько из них дадут правильный ответ. Результаты нас удивили...

P.S. Правильный ответ — 3 (в консоль будет выведено 1).

ВНИМАНИЕ! Данная статья НЕ является рекламой какого-либо ИИ-чата или рекомендацией к использованию определённой нейросети. Цель статьи — наглядно показать, что НЕ стоит слепо доверять всем ответам, которые дают нейросети. Дочитайте статью до конца и убедитесь в этом сами.👇

Доверяй, но проверяй

И так, всем чатам изначально был задан один и тот же вопрос:

Первоначально заданный вопрос для чатов ИИ
Первоначально заданный вопрос для чатов ИИ

Первый чат, в который мы пошли за ответом, был всем известный GPT.

Мы протестировали две версии чата - бесплатную (ChatGPT) и платную (ChatGPT 5) И вот ответ, который он дал.

ChatGPT

Ответ бесплатной версии чата GPT (разработка компании OpenAI)
Ответ бесплатной версии чата GPT (разработка компании OpenAI)

А вот ответ ChatGPT 5

Ответ платной версии чата GPT 5  (разработка компании OpenAI)
Ответ платной версии чата GPT 5 (разработка компании OpenAI)

Далее ответ DeepSeek

Ответ чата DeepSeek (разработка одноименной китайской компании DeepSeek)
Ответ чата DeepSeek (разработка одноименной китайской компании DeepSeek)

Google Gemini

Ответ Gemini 2.5 Flash (разработка Google)
Ответ Gemini 2.5 Flash (разработка Google)

Grok

Ответ чата Grok (разработка компании xAI под руководством Илона Маска)
Ответ чата Grok (разработка компании xAI под руководством Илона Маска)

GigaChat

Ответ GigaChat (разработка Сбера)
Ответ GigaChat (разработка Сбера)

И последний чат, в который мы обратились за ответом - Alice.Yandex.ru

Ответ Alice.Yandex.ru (разработка Яндекса)
Ответ Alice.Yandex.ru (разработка Яндекса)

Промежуточный результат

Что ж, как мы увидели, НИ ОДИН из чатов ИИ не дал верный ответ! Удивлены? Мы — очень... Поэтому решили дать нейросетям шанс на реабилитацию и задали дополнительный скрытый вопрос, который Сергей Галанов задаёт на собеседованиях следом за основным. Вопрос скрытый, так как даёт решение первой задачи. Вот как он звучит: «Как модернизировать код, чтобы кидался java.lang.ClassCastException?»

-10

Давайте посмотрим, изменит ли какая-либо нейросеть свой первоначальный ответ:

ChatGPT. Бесплатная версия

Ответ бесплатной версии чата GPT
Ответ бесплатной версии чата GPT

ChatGPT 5. Платная версия

Ответ платной версии чата GPT 5
Ответ платной версии чата GPT 5

DeepSeek

Ответ чата DeepSeek
Ответ чата DeepSeek

Google Gemini

Ответ Gemini 2.5 Flash
Ответ Gemini 2.5 Flash

Grok

Ответ чата Grok
Ответ чата Grok

GigaChat

Ответ GigaChat
Ответ GigaChat

Alice.Yandex.ru

Ответ Alice.Yandex.ru
Ответ Alice.Yandex.ru

Итог

После второго вопроса, который, по сути, подсказывает верное решение первой задачи, ТОЛЬКО 3 чата изменили свой первоначальный вывод и дали правильный ответ. И то 3 — с большой оговоркой, так как верный ответ дала только бесплатная версия ChatGPT (кто бы мог подумать).

Вывод

Доверяй, но проверяй. А в случае с нейросетями лучше не доверяй, а сразу проверяй. Безусловно, нейросети обладают колоссальным количеством знаний, но стоит помнить — это всего лишь продвинутый поисковик, и он, пока что, часто допускает ошибки. В случае с данной задачей можно было бы обратиться к любому учебнику Java и посмотреть, как работают дженерики, или просто зайти в IDE и сделать дебаг кода. К сожалению или к счастью, нейросети в наше время еще не настолько умны, чтобы с уверенностью, без всякой проверки, делать копипаст.