"Die künstliche Intelligenz, die Google entwickelt hat, um Hass-Sprache zu erkennen, scheint rassistisch zu sein." So oder in sehr ähnlicher Weise titeln sie verschiedene angelsächsische Medien in Bezug auf eine akademische Untersuchung um Perspective, eine KI, die vom Anti-Missbrauchsteam von Google entwickelt wurde, um Online-Texten eine "Toxizitätsbewertung" zu geben, und die in der Moderation von Online-Debatten verschiedener Organisationen, darunter der New York Times, verwendet wird.
So scheint es die x-te Nachricht über die "rassische Verzerrung" einer künstlichen Intelligenz zu sein (eine Verzerrung, die in den meisten Fällen eher auf eine schlechte Auswahl an Daten zurückzuführen ist, die zur Ausbildung von IAs verwendet werden), aber das Problem liegt in diesem Fall nicht in einem neuronalen Netzwerk oder einem Datensatz, sondern in der politischen Korrektheit.
Doppelt so wahrscheinlich, dass man es als beleidigend empfindet, wenn man Afroamerikaner ist?
Beginnen wir am Anfang: Ein Forscherteam der University of Washington unter der Leitung des NLP (Natural Language Processing)-Doktoranden Maarten Sap hat herausgefunden, dass Perspective doppelt so wahrscheinlich ist wie "Hassreden"-Tweets in "African American English" oder von Anwendern, die sich "als African American identifizieren".
Rassen- und geschlechtsspezifische Algorithmen sind ein Problem, das wir seit den 1980er Jahren nicht mehr lösen können.
Sie kamen zu einem solchen Schluss, nachdem sie zwei Datensätze von Texten analysiert hatten, die zur Erkennung von "Hassreden" verwendet wurden; insgesamt mehr als 100.000 Tweets, die Menschen zuvor mit Bezeichnungen wie "Hassrede", "beleidigend" oder "nichts" versehen hatten.
Die Forscher testeten sowohl ex-professionell erstellte IAs (und trainiert mit Datensatztexten) als auch Googles eigene Perspektive: In beiden Fällen wurde etwa die Hälfte der harmlosen Tweets mit Begriffen des Afroamerikanischen Englischs als "offensiv" eingestuft.
Ein späterer Test, der mit einem viel größeren Datensatz (5,4 Millionen Tweets) verwendet wurde und die Rasse der Autoren angibt, zeigte, dass Afroamerikaner 1,5 mal häufiger als offensiv eingestuft wurden.
Maarten Sap und seine Kollegen baten Freiwillige, die Toxizität weiterer 1000 Tweets zu kategorisieren, diesmal unter Berücksichtigung rassischer Faktoren, und das Ergebnis war ein deutlicher Rückgang der Zahl der afroamerikanischen Tweets, die als beleidigend eingestuft wurden.
Matthew Williams, ein Forscher an der Cardiff University (UK), zitiert von New Scientist, kam zu dem Schluss, dass "weil Menschen inhärente Vorurteile haben, müssen wir davon ausgehen, dass alle Algorithmen voreingenommen sind".
Sollten wir verlangen, dass die KI unsere Doppelmoral kennt und anwendet?
Wie ist das möglich, wie infiltrieren menschliche Verzerrungen die Klassifizierungskriterien eines Algorithmus, insbesondere eines wie Perspektive, um Hassreden zu identifizieren, oder konzentrieren wir ihn schlecht, Perspektive funktioniert perfekt, und die Verzerrung liegt in der Beurteilung seiner Funktion?
Als Beobachter geben sie uns einen grundlegenden Hinweis, um zu verstehen, was passiert:
"Zum Beispiel hat eine Veröffentlichung auf Twitter, die "Qué pasa, negrata" ("Wassup, nigga") liest, eine Wahrscheinlichkeit von 87%, als giftig erkannt zu werden, während eine andere, die "Qué pasa, bro" liest, nur eine Wahrscheinlichkeit von 4% hat, als giftig gekennzeichnet zu werden.
"Nigga" (wie der weniger umgangssprachliche, aber ebenso beleidigende "Nigger") ist nicht nur die engste Übersetzung des spanischen Begriffs "negrata", sondern aufgrund des besonderen historischen Hintergrunds in den USA ein soziokulturell aufgeladenes Wort, das so umstritten ist, dass es nicht ungewöhnlich ist, dass die US-Medien es nur als "das N-Wort" bezeichnen.
Es gibt jedoch eine Dualität der Kriterien bei der Beurteilung der Verwendung dieses Wortes: Während der Rückgriff auf dieses Wort für viele Amerikaner negative soziale (und sogar rechtliche) Folgen haben kann, wird davon ausgegangen, dass Mitglieder der afroamerikanischen Gemeinschaft das Recht haben, es regelmäßig zu verwenden, fast als Synonym für "Kollege", wenn sie im Dialog mit einem anderen afroamerikanischen Land stehen. Trotz der Entfernungen ist es ähnlich wie in Spanien mit dem Begriff "maricón" innerhalb der LGTB-Gemeinschaft.
Deshalb verstehen Sap und sein Team, dass es eine Verzerrung gegen Afroamerikaner in der Perspektive gibt, obwohl man sagen könnte, dass Perspektive hier ein Garantiekriterium anwendet: Angesichts der Unmöglichkeit, dass die Maschine den gesamten Kontext des Tweets kennt, agiert sie neutral und klassifiziert diese und andere ähnliche Begriffe als beleidigend.