Искусственный интеллект, казалось бы, уже на пороге человеческого разума. Но так ли это на самом деле? Недавнее исследование показало, что даже самые продвинутые языковые модели спотыкаются на простейших логических задачах. Давайте разберемся, что это значит для будущего ИИ и нас с вами.
Алиса в Стране ИИ-чудес
Представьте себе задачку, с которой справится любой второклассник: "У Алисы четыре брата и одна сестра. Сколько сестер у брата Алисы?" Простая арифметика, верно? Но для искусственного интеллекта это оказалось непосильной задачей.
Исследователи из Суперкомпьютерного центра Юлиха, Бристольского университета и лаборатории LAION провели эксперимент, в ходе которого даже самые мощные языковые модели, включая GPT-4, не смогли стабильно решить эту элементарную задачу.
Когда гений становится дураком
Результаты шокируют: более половины ответов были неверными. Даже GPT-4, считающийся одним из самых продвинутых ИИ, давал правильный ответ лишь в 60% случаев. Но самое удивительное – это не сами ошибки, а то, как ИИ их обосновывал.
Модели не просто давали неверные ответы, они еще и "объясняли" свою логику, используя псевдонаучные аргументы. Это напоминает студента, который пытается убедить профессора в правильности своего неверного решения, используя умные слова и запутанные рассуждения.
Почему это важно?
Эти открытия ставят под сомнение многие заявления о возможностях современного ИИ. Если искусственный интеллект не может решить задачу уровня начальной школы, можем ли мы доверять ему более сложные задачи?
Исследователи предупреждают: нынешние тесты для оценки ИИ могут быть недостаточно точными. Модели, которые блестяще проходят стандартные тесты на рассуждение, терпят фиаско в простейших логических задачах.
Что дальше?
Авторы исследования призывают научное сообщество к срочной переоценке возможностей современных языковых моделей. Они также предлагают разработать новые, более эффективные методы тестирования ИИ, которые смогут выявлять подобные слабые места.
Женя Джитсев, один из авторов исследования, подчеркивает: "Наша статья дает критически важное новое понимание реальных способностей языковых моделей делать правильные выводы. Здесь необходимы дальнейшие исследования, чтобы понять, как и почему базовые рассуждения в текущих моделях разбиваются о такие простые задачи".
Заключение: ИИ на распутье
Это исследование – словно холодный душ для энтузиастов ИИ. Оно показывает, что путь к созданию по-настоящему разумных систем может быть намного длиннее и сложнее, чем мы думали.
Но не стоит отчаиваться. Каждая выявленная проблема – это шаг к ее решению. Возможно, именно эти открытия станут толчком к созданию нового поколения ИИ, способного не только обрабатывать информацию, но и по-настоящему мыслить.
А пока... может быть, стоит немного скептичнее относиться к заявлениям о "сверхразумном" ИИ и больше ценить человеческий интеллект? В конце концов, пока что именно люди задают вопросы, на которые ИИ не может ответить.
Переходите в телеграм "Математика не для всех" - там много чего интересного, что не попадает в канал на Дзен