Компания Sony AI выпустила набор данных Fair Human-Centric Image Benchmark (FHIBE), предназначенный для проверки справедливости и предвзятости современных моделей искусственного интеллекта (ИИ). FHIBE включает фотографии почти 2 000 участников из более чем 80 стран, все изображения использованы с согласия людей, которые могут в любой момент удалить свои данные.
Набор данных содержит аннотации с информацией о демографических и физических характеристиках, условиях съемки и настройках камеры. Он позволяет выявлять факторы, влияющие на предвзятость моделей, включая пол, прически и этническую принадлежность. Тестирование показало, что некоторые модели хуже распознают людей с определёнными местоимениями и усиливают стереотипы при вопросах о профессии или преступлениях. Особенно это касалось людей с более тёмной кожей и представителей африканской и азиатской этнической группы.
Sony отмечает, что FHIBE демонстрирует возможность этичного и разнообразного сбора данных и предоставляет точные инструменты для анализа причин предвзятости ИИ. Набор уже открыт для общественного использования и будет обновляться со временем. Результаты исследования опубликованы в журнале Nature.