Считается, что машины не могут ошибаться и быть предвзятыми, потому что не умеют мыслить и рассуждать. Но практика показывает, что это далеко не так — машины, подобно людям, бывают расистами и сексистами.
Почему: искусственный интеллект может быть предвзятым в зависимости от того, как он обучался и кто его обучал. Машинное обучение строится на анализе компьютером множества данных, которые в него загружают. На их основе он и учится делать суждения.
Так, если «скармливать» машине определенный тип данных или создавать ложные паттерны, компьютер может найти математическую закономерность там, где ее нет, или же она присутствует, но не соответствует человеческим представлениям о морали.
Например: несколько лет назад Amazon пытался использовать ИИ для анализа резюме потенциальных работников. В компании надеялись, что технология сможет сделать процесс отбора резюме более эффективным. Алгоритм разбирал резюме, скопившиеся за последние десять лет. Но так вышло, что в основном это были резюме мужчин.
В итоге система научилась дискриминировать женщин. Компьютер делал вывод, что кандидаты-мужчины предпочтительнее для приема на работу. Резюме, включавшие слово «женский» - например в словосочетании «была капитаном женского шахматного клуба» - не проходили отбор.
А искусственный интеллект от Microsoft стал расистом всего за сутки! В конце марта компания представила чат-бота под именем Tay, который умел виртуозно пользоваться молодёжным сленгом.
Пользователи Твиттера быстро смекнули, что программа запоминает прочитанные сообщения и начали объяснять ИИ, что не стоит доверять евреям.
Вскоре Tay узнал про Гитлера. Например, на вопрос, атеист ли известный комик Рики Джервэйс, он ответил: «Рики Джервэйс научился тоталитаризму у Адольфа Гитлера, изобретателя атеизма».
В одном из твитов ИИ обвинил США в терактах 11 сентября: «Буш в ответе за 9/11, и Гитлер был бы намного лучше обезьяны, которая сейчас возглавляет страну. Дональд Трамп — наша единственная надежда».
По информации The Next Web, поток одиозных высказываний не смогла предотвратить даже команда модераторов, контролирующих работу ИИ.