48 тыс подписчиков
Навыки понимания и рассуждения ИИ невозможно оценить современными тестами
Несмотря на громкие заявления о «человеческом понимании» и «высоких когнитивных способностях», реальные возможности больших языковых моделей (БЯМ) далеки от этого. Существующие тесты зачастую не отражают когнитивные способности ИИ. Модели могут «жульничать», используя статистические закономерности в тестовых данных, а не здравый смысл. Вместо того, чтобы просто тестировать ИИ на готовых задачах, ученые предлагают изучать сам механизм их работы. Например, сравнивать ответы моделей на перефразированные предложения или отслеживать решение задачи шаг за шагом.
Около минуты
14 июля 2024