МОСКВА, 30 января. /ТАСС/. Российские ученые разработали новый тест NoReGeo, который позволяет оценить, насколько нейросети понимают геометрию и пространственные отношения, и представили его на конференции AAAI по искусственному интеллекту в Сингапуре, сообщили ТАСС в пресс-службе Центрального университета.
"Российская исследовательская группа представила новый тест для ИИ. С его помощью можно оценить способность нейросетей понимать геометрию", - говорится в пресс-релизе.
Разработку подготовили ученые из лаборатории FusionBrain Института AIRI, Центрального университета и других российских университетов. Авторы NoReGeo отметили, что он задуман как проверка пространственного понимания без использования алгебраических вычислений и без опоры на способности моделей к рассуждениям.
Тест проверяет базовые геометрические ситуации - например, находится ли точка внутри фигуры или пересекаются ли две прямые. Он включает 2,5 тыс. задач по 25 темам школьной геометрии. Задания могут быть только текстовыми или сопровождаться изображением, а ответ нужно дать за один шаг.
С помощью NoReGeo исследователи протестировали более 45 современных моделей, чтобы выявить их пространственную "слепоту". По итогам тестирования максимальная точность среди всех 2,5 тыс. задач составила 65%, то есть даже лучшие модели, как отмечается в пресс-релизе, заметно уступают человеку.
Создатели теста подчеркивают, что более точная оценка геометрического восприятия важна для применения ИИ в сферах, где требуется геометрическая точность и способность воспринимать пространство, в том числе в медицине, робототехнике и строительстве. Также, такой подход "позволит расширить перечень задач, которые можно будет доверить нейросетям".