Искусственный интеллект способен генерировать тексты, создавать изображения и даже решать сложные задачи, но простейшие для человека действия — определение времени по аналоговым часам или вычисление дня недели для заданной даты — остаются для него серьезным вызовом. К такому выводу пришли исследователи из Эдинбургского университета, представившие свои результаты на Международной конференции по представлениям обучения (ICLR 2025).
Провал в базовых навыках
Ученые протестировали несколько современных мультимодальных языковых моделей (MLLM), включая Llama 3.2-Vision, Claude-3.5 Sonnet, Gemini 2.0 и GPT-4o. Им предлагалось определить время по изображению часов или назвать день недели для конкретной даты. Результаты оказались удручающими:
- Точность определения времени — 38,7%
- Правильные ответы по календарным расчетам — 26,3%
"Большинство людей осваивают эти навыки в раннем возрасте. Наши результаты показывают, что ИИ серьезно отстает в задачах, требующих пространственного и логического мышления", — заявил ведущий автор исследования Рохит Саксена.
Почему ИИ не справляется с часами?
Проблема кроется в принципах работы нейросетей. Современные модели распознают объекты и тексты, но не умеют анализировать пространственные взаимосвязи. Например, для определения времени по часам необходимо:
- Определить положение стрелок
- Рассчитать углы между ними
- Учесть особенности циферблата (римские цифры, отсутствие разметки)
ИИ может распознать, что перед ним часы, но не способен корректно интерпретировать их показания. Аналогичные сложности возникают с календарными расчетами. Хотя арифметика — основа вычислений, языковые модели не выполняют математические операции, а предсказывают ответы на основе шаблонов из обучающих данных.
Последствия для реальных приложений
Ошибки в определении времени и дат могут стать критичными для:
- Автоматизированных систем планирования (расписания, напоминания)
- Робототехники (синхронизация действий)
- Ассистивных технологий (помощь людям с ограниченными возможностями)
Исследователи подчеркивают необходимость доработки обучающих данных и разработки новых методов, сочетающих логику и пространственное мышление. Пока же слепо доверять ИИ в таких задачах опасно.
"ИИ мощный инструмент, но когда задача требует точного восприятия и рассуждений, нам все еще нужны тестирование, резервные алгоритмы и контроль со стороны человека", — отметил Саксена.