Мировой рынок искусственного интеллекта расширяется со все большой скоростью, а недавние инновации, такие как ChatGPT, подтверждают его большой потенциал. В результате компании стремятся использовать искусственный интеллект более чем когда-либо для создания эффективных и инновационных решений для своих клиентов.
Однако важно быть осторожным в применении ИИ, так как имеются свидетельства того, что иногда он может быть предвзятым в своих решениях, что будет иметь отрицательные последствия для бизнеса. Эта предвзятость может возникать, когда данные, подаваемые на вход системе ИИ, не охватывают все точки зрения, или правила, которым следует система ИИ, смещены.
Эта предвзятость в системах на основе ИИ была отмечена многими фирмами и организациями в последние несколько лет. Например, в 2021 году аудит OpenAI обнаружил предвзятость по возрасту и полу в модели CLIP. Аналогично, Obermeyer et al. (2019) сообщили о наличии доказательств расовой предвзятости в алгоритмах здравоохранения в США. Кроме того, Департамент финансов штата Нью-Йорк признал, что существуют риски в алгоритмическом кредитовании, включая "неточность в оценке кредитоспособности, дискриминационные результаты и ограниченную прозрачность".
Политики управления ИИ
Сегодня необходимо ввести политики управления и соответствия ИИ, которые включают проверку результатов ИИ на предмет потенциального предвзятости.
Эти политики должны устанавливать четкие этические руководства для разработки и внедрения систем ИИ, включая обеспечение тестирования данных, используемых для обучения систем ИИ, на разнообразие демографических и социоэкономических групп, обеспечение справедливости и надежности полученных систем ИИ. Что касается соответствия, политики должны рассмотреть оценку рисков для результатов ИИ и реализовать технические средства защиты для снижения рисков.
Инженерным группам также необходимо внести свой вклад в достижение этой цели, включив в лучшие практики разработки непредвзятых и надежных систем ИИ следующие инструменты:
Системы ИИ с потенциальным социальным влиянием должны иметь индекс предвзятости и также индекс справедливости, который должен превышать стандартные рекомендации. Например, оценка справедливости должна находиться в диапазоне между 0,9 и 1,0, как индикатор справедливой системы ИИ.
Вот пошаговый процесс, чтобы обеспечить справедливость и точность модели. Я использую AIF360, но аналогичный процесс может быть применен с помощью Fairlearn.
1. Создайте разнообразную выборку данных, которая включает различные демографические и социоэкономические группы на основе защищенного атрибута.
2. Разделите этот набор данных на обучающий и тестовый наборы данных для разработки модели.
3. Рассчитайте точность и среднюю статистическую разницу равноправия для обучающего набора данных из вашей текущей системы ИИ для всех групп.
4. Примените алгоритм перевзвешивания к обучающему набору данных. Перевзвешивание - это метод предварительной обработки, который взвешивает экземпляры в каждой паре (группа, метка) по-разному, чтобы обеспечить справедливость перед классификацией.
5. Обучите новую модель машинного обучения, используя преобразованный обучающий набор данных.
6. Протестируйте преобразованную модель, используя тестовый набор данных и сохраните прогнозы.
7. Рассчитайте точность и метрику преобразованного набора данных (среднюю разницу) для тестового набора данных. Примечание: Средняя статистическая разница может зависеть от конкретного случая использования и дисбаланса классов. Кроме того, оцените, какие другие оценки лучше подходят для данных.
8. Обеспечьте, чтобы Диспропорционный эффект (оценка справедливости) оставался близким к 1,0, обеспечивая тем самым непредвзятую систему ИИ.
9. Оцените и сравните метрики справедливости для оригинальной и преобразованной моделей, обеспечивая точность и справедливость модели машинного обучения, а также сбалансированные оценки точности и справедливости.
Следуя этому высокоуровневому подходу, вы можете оценить справедливость модели машинного обучения с помощью AIF360 и сравнить производительность оригинальной и преобразованной моделей на основе различных метрик справедливости.
Ссылка на сайт канала: n2.ru
Телеграм канала: https://t.me/n2_news