У таких этических последствий есть как минимум два источника.
Во-первых, если мы говорим о машинном обучении или нейросетях, то имеют значение обучающие выборки - датасеты, на которых алгоритмы тренируются принимать решения. Эти датасеты, как правило, очень ограничены и представляют лишь небольшую часть реальности. И в зависимости от целей алгоритмов или точек приложения этих датасетов последствия могут быть самыми разными - от незначительных до действительно опасных. Например, из-за недостаточной представленности данных, алгоритмы могут дискриминировать разные социальные группы. Вот такие примеры приводили в отчете исследователи The State of AI несколько лет назад:
- распознаватель фото Google маркирует темнокожих как «горилла»;
- функция YouTube-перевода голоса в текст не распознает женские голоса;
- камеры распознавания лиц HP не могут распознавать азиатов.
Эти примеры говорят скорее о том, что в изначальных выборках просто отсутствовали данные, достаточные для закрепления не только доминирующих паттернов. Датасетам нужны как можно более разнообразные источники информации, чтобы научаться работать с разного рода ситуациями.
Но есть и второй источник этических последствий машинного принятия решений - это сами люди с их предубеждениями и стереотипами. Многие алгоритмы обучаются на реальном поведении пользователей и быстро подхватывают воспроизводимые паттерны поведения. Отсюда возникают истории, например, с голосовыми ассистентами, которые ругаются матом. Вот еще примеры от The State of AI:
- Amazon классифицирует литературу по тематике ЛГБТ в категорию «18+» и убирает из рейтингов продаж;
- запросы имен, звучащих как афроамериканские, выдают рекламу на проверку криминального прошлого.
И таких примеров много, подобные находки регулярно публикуются в аналитических отчетах независимых институтов (смотрите AINow), которые борются за равноправие и разнообразие в отношениях людей и алгоритмов.
Социальные исследователи алгоритмов подчеркивают проблематичность всевозможных смещений (bias), которые нужно отслеживать, модерировать, предотвращать, прорабатывать. Технологии ощутимо отражают простые человеческие отношения, поэтому корни этических последствий лежат вовсе не в компьютерных решениях.
