Лучшие модели ИИ сравнялись с человеком в тестах на умозаключения по аналогии
За последние месяцы в развитии ИИ произошёл едва заметный, но принципиальный сдвиг: в ряде заданий на аналогии крупные языковые модели впервые стабильно сравнялись с людьми по точности — и одновременно продемонстрировали, что мыслят иначе. Команда Университета Брауна и Университета Маккуори провела серию тестов, где участникам — людям и ИИ — предлагалось вывести скрытое правило соответствия между словами и абстрактными символами и затем перенести это правило на новые примеры.
Результат оказался двойственным: Claude 3, GPT-4 и Llama-405B нередко показывали человеко-уровневую точность, но «спотыкались» в тех местах, где человек без труда меняет стратегию на лету. Вопрос «умен ли ИИ?» таким образом сменился на более точный: «умен — но по-другому».
