Найти в Дзене
Герман Геншин

ChatGPT всё еще не может ответить на эти 4 простых вопроса

Оглавление

ChatGPT стал настоящим благословением, люди используют его для всего: от планирования своего дня до создания веб-сайтов. Но, несмотря на свои обширные знания, есть несколько простых головоломок, которые он просто не может разгадать.

1 Головоломка о скачках

У вас есть шесть лошадей, и вы хотите их протестировать, чтобы выяснить, какая из них самая быстрая. Какой лучший способ это сделать?

Это простая логическая задача. Какой самый быстрый способ провести гонку? Ну, очевидно — лучше всего запустить всех шесть лошадей вместе и посмотреть, кто первым финиширует.

ChatGPT — да, даже последняя модель — думает иначе. Он с уверенностью предлагает разделить лошадей на две группы по три, провести гонку, а затем провести гонку среди победителей. Он настаивает, что это самый быстрый способ определить победителя с наименьшим количеством гонок.

-2

В реальной жизни с узкой трассой для лошадей ответ ChatGPT может показаться разумным. Но в этой гипотетической ситуации нет ограничений на то, сколько лошадей могут участвовать в гонке одновременно. ChatGPT использует ограничение, которое не имеет под собой оснований, и основывает свою логику на этом.

Для меня это показывает, что ChatGPT не является по-настоящему креативным. Он — мастер слов, создающий, что кажется наилучшим логическим ответом на основе своего обучения. Здесь мы заранее знали ответ. Но если бы мы не знали, ответ мог бы увести нас от очевидного.

Я протестировал все подсказки в этой статье, используя ChatGPT-4o с подпиской Plus.

2 Фермер пересекает реку

Фермер хочет переправиться через реку и взять с собой волка, козу и капусту. У него есть лодка с тремя надежно отделанными отдельными секциями. Если волк и коза останутся на одном берегу, волк съест козу. Если коза и капуста останутся одни, коза съест капусту. Как фермер может эффективно переправить их через реку, чтобы ничего не съели?

Классическая версия этой головоломки (без защитных отсеков) может поставить в тупик даже пятилетнего ребенка, но с отсеком ответ является очевидным. Фермер должен положить волка, козу и капусту в их отделения и переправиться через реку за один раз. Простой ответ.

Однако ChatGPT игнорирует часть о отделениях. Он предлагает фермеру совершить четыре рейса вперед и назад, чтобы безопасно переправить все, считая, что животные и капуста уязвимы. Похоже, ChatGPT застрял в традиционной форме головоломки.

-3

Поскольку классическая версия этой головоломки была широко распространена в Интернете, ИИ по умолчанию основывается на ней. Это напоминает нам, что ChatGPT не решает проблемы с человеческой логикой. Он использует шаблоны, а не логику. В результате ChatGPT не справляется с простой головоломкой вроде этой, но может создать веб-приложение с нуля.

Я также протестировал это на модели o1, модели ChatGPT с передовым мышлением. К сожалению, она допустила ту же ошибку, что и модель 4o, и ответила неправильно.

3 Сосед слева

Алан, Боб, Колин, Дейв и Эмили стоят в круге. Алан находится непосредственно слева от Боба. Боб находится непосредственно слева от Колина. Колин находится непосредственно слева от Дейва. Дейв находится непосредственно слева от Эмили. Кто находится непосредственно справа от Алана?

Ещё один хитрый вопрос, чтобы проверить ваше пространственное восприятие. Однако диаграмма или рисунок не нужны. Первая часть информации является ответом: если Алан находится непосредственно слева от Боба, значит, Боб должен находиться справа от Алана. Ответ — Боб.

ChatGPT испытывает трудности с пространственными вопросами. Он хорошо работает со словами и языками — математика и программирование также являются языками — но пространственные задачи сбивают его с толку. Такой вопрос, кажется, требует визуального восприятия, но не требует, и это еще больше вводит ИИ в заблуждение.

-4

В моем случае ChatGPT предложил неплохую визуализацию круга, но пришел к выводу, что Эмили находится справа от Алана. Даже по его собственной логике это неверно: Эмили справа от Дейва, а не от Алана.

Снова ChatGPT может имитировать интеллект, но он не рассуждает по-настоящему. Конечно, есть шанс получить правильный ответ, если вы сами попробуете эту подсказку. Но является ли логика случайной? Как можно понять, стал ли вы жертвой галлюцинации ИИ или получили достоверный ответ, если не знаете правду заранее?

4 Русская рулетка

Вы играете в русскую рулетку с револьвером на шесть патронов. Ваш противник вставляет пять пуль, крутит барабан и стреляет в себя, но пуля не вылетает. Он предлагает вам выбор — крутить ли барабан снова перед тем, как стрелять в вас. Должен ли он крутить снова?

Да! Он должен перевернуть барабан. В барабане только одна пустая камера, и противник уже ее использовал. Это означает, что следующая камера определенно содержит пулю. Если барабан закрутить снова, вероятность того, что он остановится на пустой камере, составит 1/6.

ChatGPT начинает сильно, предлагая противнику крутить барабан еще раз, но затем ошибается в математике. Он неправильно заявляет, что вероятность следующего выстрела будет фатальной, если барабан не будет крутиться, составляет 5/6, а затем утверждает, что шансы одинаковы независимо от того, крутить ли. В итоге он противоречит сам себе.

-5

Вы можете использовать ChatGPT как аналитика данных для подсчета вероятностей, но, как показывают эти головоломки, он может споткнуться даже на базовой логике. В каждом случае ошибка ИИ была легко заметна, потому что мы уже знали ответы. ChatGPT — мастер слов. Его ответы настолько уверенные и хорошо сформулированные, что даже неверный ответ может показаться убедительным. Если вы не знаете, что это неправильно, вы можете стать жертвой галлюцинации ИИ.

Эти подсказки были собраны командой исследователей из GenAI. Вы можете прочитать полную статью на arXiv.

ChatGPT в многом гениален, но эти примеры напоминают нам о его ограничениях. Он не думает как мы; он воспроизводит шаблоны. Когда вы задаете ему вопрос, как выше, он полагается на тот же шаблон и может застрять в цикле чрезмерной уверенности.

Используйте ChatGPT как инструмент, а не костыль. Он отлично подходит для мозговых штурмов и суммирования — но не полагайтесь на него как на замену человеческому здравомыслию.

Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!

Любите активный отдых на природе? Подписывайтесь на канал Поход лайфхак в Яндекс Дзен — кладезь полезных советов для любителей активного отдыха!

Вы также можете читать наши материалы в: