Введение
Несмотря на то, что современные модели искусственного интеллекта способны выполнять сложные задачи, такие как написание эссе и создание художественных произведений, им еще необходимо овладеть некоторыми навыками, которые люди осваивают с легкостью.
Исследовательская группа из Эдинбурга продемонстрировала, что современные модели ИИ не могут надежно интерпретировать положение стрелок часов или корректно отвечать на вопросы о датах в календаре.
Задача для ИИ
В отличие от простого распознавания форм, понимание аналоговых часов и календарей требует сочетания пространственного восприятия, контекста и базовых математических навыков — что продолжает оставаться серьезной задачей для ИИ.
Преодоление этих ограничений могло бы позволить ИИ-системам работать с временными приложениями, такими как планировщики, автономные роботы и инструменты для людей с нарушениями зрения.
Чтение показаний часов
Исследователи оценили различные варианты часов, включая модели с римскими цифрами, секундными стрелками и без них, а также с циферблатами разных цветов.
Их результаты продемонстрировали, что ИИ-системы правильно определяли положение стрелок часов всего в менее чем в 25% случаев. Ошибки чаще всего возникали, когда использовались римские цифры или стилизованные стрелки.
Системы ИИ не показывали улучшения даже при отсутствии секундной стрелки, что указывает на глубоко укоренившиеся проблемы с определением стрелок и интерпретацией углов, сообщает команда.
Календарные даты
Исследователи задали моделям ИИ ряд вопросов, связанных с календарем, таких как определение праздников и вычисление прошлых и будущих дат.
Команда выяснила, что даже самая точная модель ИИ ошибалась в расчетах дат в одном из пяти случаев. Результаты исследования будут представлены в рецензируемой статье на семинаре “Рассуждение и планирование для больших языковых моделей” на Тринадцатой международной конференции по представлениям обучения (ICLR) в Сингапуре 28 апреля 2025 года.
Выводы
Большинство людей осваивают умение определять время и пользоваться календарями с раннего возраста. Полученные нами результаты подчеркивают значительный пробел в способности ИИ выполнять относительно простые задачи, доступные человеку. Эти недостатки требуют устранения, если ИИ-системы должны быть успешно интегрированы в приложения, чувствительные к времени, такие как планирование, автоматизация и вспомогательные технологии.
Рохита Саксена
Школа информатики
Сегодняшние исследования ИИ зачастую акцентируют внимание на сложных задачах рассуждения, однако иронично, что многие системы продолжают сталкиваться с затруднениями в выполнении более простых, повседневных задач. Наши выводы указывают на необходимость устранения этих фундаментальных недостатков. В противном случае интеграция ИИ в реальные времязависимые приложения может оказаться под угрозой.
Арио Гема
Школа информатики
Источник: The University of Edinburgh
Сообщение: Искусственный интеллект испытывает трудности с определением времени и даты
🔔 Подписывайтесь на мой канал Telegram!
В канале я буду публиковать свой опыт освоения автоматизации и взаимодействия с нейросетями, новости в мире ИИ, полезные гайды и много полезной информации!