2 дня назад
Как проверить, видит ли ИИ середину 50-страничного отчета: тест-иголка и что делать
Представьте, что вы загрузили ассистенту годовой отчет на 60 страниц. Спрашиваете: «Какая сумма стоит в строке 42 на странице 34?» Модель уверенно отвечает, но цифра не сходится. Или того хуже — пишет, что в документе всего 10 страниц. Вы злитесь, но дело не в глупости алгоритма. Дело в его «памяти», и именно для проверки этой памяти существует специальный бенчмарк — тест на поиск «иголки в стоге сена» (проверка способности найти один точный факт в огромном массиве текста). Когда разработчик пишет...