Fairness: Voreingenommenheit

Geschätzte Zeit:5 Minuten

Modelle für maschinelles Lernen sind nicht naturgemäß. Ingenieure trainieren Modelle, indem sie ihnen ein Dataset mit Trainingsbeispielen zur Verfügung stellen und die menschliche Beteiligung an der Bereitstellung und Auswahl dieser Daten dazu führen kann, dass die Vorhersagen eines Modells anfällig für Verzerrungen sind.

Beim Erstellen von Modellen ist es wichtig, die menschlichen Vorurteile zu berücksichtigen, die sich in deinen Daten bemerkbar machen. So kannst du proaktive Maßnahmen ergreifen, um die Auswirkungen dieser Modelle zu verringern.

WARNUNG: Das folgende Inventar von Verzerrungen bietet nur eine kleine Auswahl an Verzerrungen, die häufig in Datensätzen für maschinelles Lernen zu finden sind. Diese Liste ist nicht abschließend. Der Wikipedia-Katalog mit kognitiven Verzerrungen enthält mehr als 100 verschiedene Arten von menschlichen Vorurteilen, die unser Urteilsvermögen beeinflussen können. Beim Prüfen Ihrer Daten sollten Sie nach möglichen möglichen Verzerrungsquellen Ausschau halten, die die Vorhersagen Ihres Modells verzerren könnten.

Berichtsverzerrung

Eine Berichtsverzerrung tritt auf, wenn die in einem Datensatz erfasste Häufigkeit von Ereignissen, Properties und/oder Ergebnissen nicht der tatsächlichen Häufigkeit entspricht. Diese Verzerrung kann entstehen, da sich Menschen dazu neigen, sich auf ungewöhnliche oder besonders einprägsame Umstände zu konzentrieren, wenn der Normalzustand einfach nichts sagen kann.

BEISPIEL: Ein Stimmungsanalysemodell wird trainiert, um zu prognostizieren, ob Buchrezensionen positiv oder negativ sind. Die Auswahl erfolgt anhand eines Korpus von Nutzerbeiträgen an eine beliebte Website. Die Mehrheit der Rezensionen im Trainings-Dataset spiegelt extreme Meinungen wider (Rezensenten, die ein Buch entweder geliebt oder gehasst haben), da es weniger wahrscheinlich ist, dass Nutzer eine Rezension schreiben, wenn sie nicht stark darauf geantwortet haben. Daher kann das Modell die Stimmung von Rezensionen, die eine subtile Sprache zur Beschreibung eines Buchs beschreiben, weniger korrekt vorhersagen.

Automatisierung

Bei der Automatisierungsverzerrung werden Ergebnisse, die von automatisierten Systemen generiert werden, gegenüber jenen bevorzugt, die von nicht automatisierten Systemen generiert werden, unabhängig von der jeweiligen Fehlerrate.

BEISPIEL: Softwareentwickler, die für einen Zahnradhersteller arbeiteten, waren bereit, das neue bahnbrechende Modell bereitzustellen, das sie zur Erkennung von Zahnfehlern trainiert haben, bis der Werksvorgesetzte darauf hinweist, dass die Genauigkeits- und Trefferquoten des Modells um 15% niedriger sind als die der menschlichen Kontroller.

Auswahl-Bias

Die Auswahlverzerrung tritt auf, wenn die Beispiele für ein Dataset so gewählt werden, dass die tatsächliche Verteilung nicht widergespiegelt wird. Die Auswahlverzerrung kann viele verschiedene Formen annehmen:

• Abdeckungsverzerrung: Die Daten werden nicht repräsentativ ausgewählt.

BEISPIEL: Ein Modell wird trainiert, um den zukünftigen Verkauf eines neuen Produkts anhand von Telefonumfragen vorherzusagen, die mit einer Stichprobe von Nutzern durchgeführt werden, die das Produkt gekauft haben. Nutzer, die stattdessen ein konkurrierendes Produkt kaufen wollten, wurden nicht befragt. Daher wurde diese Gruppe von Personen nicht in den Trainingsdaten dargestellt.

• Verzerrung bei keiner Antwort (oder partielle Verzerrung): Daten sind aufgrund von Teilnahmelücken im Datenerfassungsprozess nicht repräsentativ.

BEISPIEL: Ein Modell wird trainiert, um zukünftige Verkäufe eines neuen Produkts anhand von Telefonumfragen vorherzusagen. Die Stichprobe wurde von einer Stichprobe von Kunden, die das Produkt gekauft haben, und von einer Stichprobe von Nutzern, die ein konkurrierendes Produkt gekauft haben. Bei Verbrauchern, die das konkurrierende Produkt gekauft haben, ist die Wahrscheinlichkeit, dass sie die Umfrage ablehnen, 80% wahrscheinlicher. Außerdem sind ihre Daten in der Stichprobe unterrepräsentiert.

• Stichprobenverzerrung: Bei der Datenerfassung wird nicht die richtige Zufallsauswahl verwendet.

BEISPIEL: Ein Modell wird trainiert, um zukünftige Verkäufe eines neuen Produkts anhand von Telefonumfragen vorherzusagen. Die Stichprobe wurde von einer Stichprobe von Kunden, die das Produkt gekauft haben, und von einer Stichprobe von Nutzern, die ein konkurrierendes Produkt gekauft haben. Anstatt die Zielgruppe zufällig auszuwählen, wählte die Umfrage die ersten 200 Nutzer aus, die auf eine E-Mail geantwortet haben. Sie waren vielleicht mehr begeistert vom Produkt als durchschnittliche Käufer.

Gewichtung der Gruppenattribution

Die Gruppenattributionsverzerrung ist eine allgemeine Tendenz, die Personen einer gesamten Gruppe zu verallgemeinern, zu der sie gehören. Zwei wichtige Manifeste dieser Verzerrung sind:

• In-Group Bias: Eine Einstellung für Mitglieder einer Gruppe, zu der Sie gehört auch, oder für Merkmale, die Sie ebenfalls teilen.

Beispiel: Zwei Entwickler, die ein Résumé-Screening-Modell für Softwareentwickler ausbilden, sind der Überzeugung, dass Bewerber, die an derselben Informatikakademie teilgenommen haben, sich besser für die Stelle qualifiziert haben.

• Out-group-Homogenitätsverzerrung: Die Tendenz, einzelne Mitglieder einer Gruppe zu Stereotype zu vereinen, zu denen Sie nicht gehören, oder ihre Eigenschaften als einheitlicher zu sehen.

Beispiel: Zwei Entwickler, die ein Résumé-Screening-Modell für Softwareentwickler ausbilden, sind der Ansicht, dass alle Bewerber, die nicht an einer Informatikakademie teilgenommen haben, nicht über das erforderliche Fachwissen für diese Rolle verfügen.

Implizite Verzerrung

Implizite Verzerrungen treten auf, wenn Annahmen auf der Grundlage eigener psychischer Modelle und persönlicher Erfahrungen getroffen werden, die nicht unbedingt allgemein gelten.

BEISPIEL: Ein Entwickler, der ein Gestenerkennungsmodell trainiert, verwendet eine Kopfschütteln, um anzugeben, dass eine Person über das Wort „&n“ verfügt. In einigen Regionen der Welt bedeutet ein Schütteln aber auch „Ja“.

Eine gängige Form der impliziten Verzerrung ist die Bestätigungsverzerrung, bei der Modell-Builder Daten unbewusst auf eine Weise verarbeiten, die bestehende Überzeugungen und Hypothesen bestätigt. In einigen Fällen trainiert ein Modell-Builder möglicherweise ein Modell so lange, bis es ein Ergebnis liefert, das der ursprünglichen Hypothese entspricht. Dies wird als Experimenter-Verzerrung bezeichnet.

BEISPIEL: Ein Ingenieur erstellt ein Modell, das die Aggressivität von Hunden anhand verschiedener Merkmale (Größe, Gewicht, Rasse, Umgebung) vorhersagt. Der Ingenieur hatte schon als Kind einen unangenehmen Spielspaß in Bezug auf ein Spielzeugpudel und seither hat er die Rasse mit Aggression in Verbindung gebracht. Als das trainierte Modell die meisten Zwergpudel als relativ zurückhaltend schätzte, trainierte der Entwickler es noch einmal so lange, bis es bei kleineren Pudeln zu gewalttätigen Ergebnissen führte.

Wichtige Begriffe

Automatisierungsverzerrung	Bestätigungsverzerrung
Abdeckungsverzerrung	Tester-Verzerrung
In-Group-Bias	Gruppenattributionsverzerrung
implizite Verzerrung	Non-Response Bias
Out-Group-Homogenitätsverzerrung	Berichtsverzerrung
Stichprobenverzerrung	Auswahlverzerrung

Hilfe