Glossar zum maschinellen Lernen: Fairness

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Diese Seite enthält Begriffe, die das Fairness-Glossar betreffen. Alle Glossarbegriffe finden Sie hier.

A

Attribut

#fairness

Synonym für Funktion.

Fairness beim maschinellen Lernen bezieht sich oft auf Eigenschaften, die Einzelpersonen betreffen.

Automatisierungsverzerrung

#fairness

Wenn ein menschlicher Entscheidungsträger Empfehlungen eines automatisierten Entscheidungssystems gegenüber Informationen ohne Automatisierung bevorzugt, obwohl das automatisierte Entscheidungssystem Fehler macht

B

Verzerrung (Ethik/Fairness)

#fairness
#fundamentals

1. Stereotype, Voreingenommenheit oder Bevorzugung gegenüber bestimmten Inhalten, Personen oder Gruppen gegenüber anderen. Diese Verzerrungen können sich auf die Erfassung und Interpretation von Daten, den Aufbau eines Systems und die Art und Weise auswirken, wie Nutzer mit einem System interagieren. Zu dieser Art von Verzerrung gehören:

2. Ein systematischer Fehler, der durch eine Stichproben- oder Berichterstellung verursacht wurde. Zu dieser Art von Verzerrung gehören:

Nicht zu verwechseln mit dem Verzerrungsbegriff in Modellen für maschinelles Lernen oder der Vorhersageverzerrung.

C

Bestätigungsverzerrung

#fairness

Die Neigung, Informationen zu suchen, zu interpretieren, zu bevorzugen und sich an Informationen zu erinnern, sofern die bereits existierenden Überzeugungen oder Hypothesen bestätigt werden. Entwickler von Machine Learning können Daten versehentlich erfassen oder mit Labels versehen, um die Ergebnisse zu beeinflussen, die ihren bestehenden Überzeugungen entsprechen. Die Bias ist eine Form der impliziten Verzerrung.

Die Testverzerrung ist eine Form der Bestätigungsverzerrung, bei der ein Experimenter Modelle weiter trainiert, bis eine vorhandene Hypothese bestätigt wird.

kontrafaktische Fairness

#fairness
Ein Fairness-Messwert, mit dem geprüft wird, ob ein Klassifikator für eine Person das gleiche Ergebnis wie für eine andere Person generiert, die mit dem ersten identisch ist, mit Ausnahme eines oder mehrerer sensibler Attribute. Die Bewertung eines Klassifikators für kontrafaktische Fairness ist eine Möglichkeit, potenzielle Quellen von Verzerrungen in einem Modell aufzudecken.

Detaillierte Informationen zur kontrafaktischen Fairness findest du unter "Where Worlds Collide: Integrateing Different Counterfactual Annahmen in Fairness.

Abdeckungsverzerrung

#fairness

Siehe Auswahlverzerrung.

D

Gleichheit der demografischen Merkmale

#fairness

Ein Fairness-Messwert, der erfüllt wird, wenn die Ergebnisse einer Modellklassifizierung nicht von einem bestimmten sensiblen Attribut abhängen.

Wenn beispielsweise sowohl die Lilliputianer als auch die Brobdingnagians für die Glubbdubdrib-Universität gelten, wird die demografische Parität erreicht, wenn der Prozentsatz der zugeteilten Lilliputianer dem Prozentsatz der zulässigen Brobdingnagier entspricht, unabhängig davon, ob eine Gruppe im Durchschnitt qualifizierter als die andere ist.

Kontrast zu gleichen Wahrscheinlichkeiten und Chancengleichheit, bei denen die Ergebnisse in Bezug auf die Vertraulichkeit von bestimmten Attributen abhängig sind. Eine Visualisierung, in der die Vor- und Nachteile bei der Optimierung für demografische Merkmale erläutert werden, finden Sie unter Diskriminierung durch intelligentes maschinelles Lernen bekämpfen.

unterschiedliche Auswirkungen

#fairness

Entscheidungen, die zu unverhältnismäßig vielen Entscheidungen in Bezug auf Personen treffen, die unterschiedliche Untergruppen betreffen. Dies bezieht sich in der Regel auf Situationen, in denen ein algorithmischer Entscheidungsprozess einigen Untergruppen mehr Schaden zufügt oder davon profitiert.

Angenommen, ein Algorithmus, der bestimmt, ob ein Immobilienmakler für die Erfüllung eines Immobiliendarlehens infrage kommt, stuft dies eher ein, wenn seine Postanschrift eine bestimmte Postleitzahl enthält. Wenn Big-Lilliputianer mit dieser Postleitzahl eher Postanschriften haben als Little-Endian Lilliputianer, kann dies zu unterschiedlichen Auswirkungen auf den Algorithmus führen.

Dies steht im Gegensatz zur unterschiedlichen Behandlung, bei der Unterschiede auftreten, die auftreten, wenn Merkmale von Untergruppen explizite Eingaben für einen algorithmischen Entscheidungsprozess sind.

unterschiedliche Behandlung

#fairness

sensible Attribute werden in einen algorithmischen Entscheidungsprozess einbezogen, sodass verschiedene Untergruppen von Menschen unterschiedlich behandelt werden.

Nehmen wir zum Beispiel einen Algorithmus, der die Eignung eines Lilliputianers für ein Darlehen mit einem Minihaus anhand der Daten bestimmt, die er in seinem Kreditantrag zur Verfügung stellt. Wenn im Algorithmus die Zugehörigkeit eines Lilliputians als Big-Endian oder Little-Endian als Eingabe verwendet wird, wird in dieser Dimension eine heterogene Behandlung angewendet.

Dies steht im Gegensatz zu unterschiedlichen Auswirkungen, bei denen es hauptsächlich um Unterschiede in den gesellschaftlichen Auswirkungen von algorithmischen Entscheidungen auf Untergruppen geht, unabhängig davon, ob diese Untergruppen Eingaben für das Modell sind.

E

Chancengleichheit

#fairness
Ein Fairness-Messwert, mit dem geprüft wird, ob für ein bevorzugtes Label, also ein Vorteil, der einer Person einen Vorteil oder Vorteil bietet, und mit einem bestimmten Attribut ein Bevorzugtes Label für alle Werte dieses Attributs gleich gut vorhersagt. Mit anderen Worten: Gleichheit der Chancen gibt an, ob die Personen, die sich für eine Empfehlung qualifizieren, die Wahrscheinlichkeit unabhängig von ihrer Gruppenmitgliedschaft mit gleicher Wahrscheinlichkeit tun.

Nehmen wir zum Beispiel an, dass die Universität Glubbdubdrib sowohl Lilliputianer als auch Brobdingnagians einem strengen Mathematikprogramm zuweist. Die Mittelschulen von Lilliputians bieten einen soliden Lehrplan in Mathematik und die Mehrheit der Schüler und Studenten sind für das Universitätsprogramm qualifiziert. An den Sekundarschulen in Brobdingnagian gibt es überhaupt keine Mathematikkurse und so sind deutlich weniger Schüler qualifiziert. Chancengleichheit in Bezug auf das bevorzugte Label „zugelassen“ (Lilliputian oder Brobdingnagian) wird bevorzugt, wenn qualifizierte Studenten gleichberechtigung bekommen, unabhängig davon, ob sie Lilliputianer oder Brobdingnagian sind.

Beispiel: 100 Lilliputians und 100 Brodingnagians gelten für die Glubbdubdrib-Universität und die Entscheidungen über die Zulassung werden folgendermaßen getroffen:

Tabelle 1. Lilliputian-Bewerber (90% werden qualifiziert)

  Qualifiziert Unqualifiziert
Zugelassen 45 3
Abgelehnt 45 7
Summe 90 10
Prozentsatz qualifizierter Schüler/Studenten, die zur Prüfung zugelassen werden: 45/90 = 50 %
Prozentsatz der abgelehnten Schüler/Studenten, die abgelehnt wurden: 7/10 = 70 %
Gesamtzulassung der Lilliputian-Schüler/Studenten insgesamt: (45+3)/100 = 48%

 

Tabelle 2: Brobdingnagian-Bewerber (10% werden qualifiziert):

  Qualifiziert Unqualifiziert
Zugelassen 5 9
Abgelehnt 5 81
Summe 10 90
Prozentsatz qualifizierter Schüler/Studenten, die zugelassen werden: 5/10 = 50%
Prozentsatz der abgelehnten Schüler: 81/90 = 90%
Prozentsatz der zugelassenen Schüler/Studenten aus Brobdingnag: (5+9)/100 = 14%

In den Beispielen oben haben wir die gleichen Voraussetzungen für die Aufnahme qualifizierter Studenten, da qualifizierte Lilliputians und Brobdingnagians beide eine Chance von 50% haben, aufgenommen zu werden.

Weitere Informationen zu Chancengleichheit finden Sie unter Gleichstellung von Chancengleichheit im überwachten Lernen. Im Abschnitt Diskriminierung durch intelligentes maschinelles Lernen bekämpfen finden Sie außerdem eine Übersicht über die Kompromisse bei der Optimierung für Chancengleichheit.

Gewinnwahrscheinlichkeit

#fairness
Ein Fairness-Messwert, der prüft, ob ein Klassifikator für ein bestimmtes Label und Attribut bestimmte Werte für alle Werte dieses Attributs gleich gut vorhersagt.

Nehmen wir beispielsweise an, dass die Glubbdubdrib-Universität sowohl Lilliputianer als auch Brobdingnagier für ein umfangreiches mathematisches Programm zusagt. Lilliputians Sekundarschulen bieten einen soliden Lehrplan an Mathematikkursen an und die große Mehrheit der Schüler ist für das Universitätsprogramm qualifiziert. In den Brobdingnagians werden keine Mathekurse angeboten, weshalb auch weniger ihrer Schüler qualifiziert sind. Chancen mit gleichmäßiger Wahrscheinlichkeit werden erfüllt, vorausgesetzt, dass ein Bewerber ein Lilliputian oder Brobdingnagian ist, unabhängig davon, ob er qualifiziert ist. Wenn er sich qualifiziert, erhält er die gleiche Wahrscheinlichkeit, in das Programm aufgenommen zu werden. Wenn er sich nicht qualifiziert, wird er genauso wahrscheinlich abgelehnt.

Angenommen, für die Glubbdubdrib-Universität gelten 100 Lilliputianer und 100 Brodingdingier. Die Zulassungsentscheidungen werden so getroffen:

Tabelle 3: Lilliputian-Bewerber (90% werden qualifiziert)

  Qualifiziert Unqualifiziert
Zugelassen 45 2
Abgelehnt 45 8
Summe 90 10
Prozentsatz qualifizierter Schüler/Studenten, die zugelassen werden: 45/90 = 50 %
Prozentsatz der abgelehnten Schüler/Studenten, die abgelehnt wurden: 8/10 = 80 %
Gesamtzulassungsquote der liliputischen Studenten (45+2)/100 = 47%

 

Tabelle 4: Brobdingnagian-Bewerber (10% werden qualifiziert):

  Qualifiziert Unqualifiziert
Zugelassen 5 18
Abgelehnt 5 72
Summe 10 90
Prozentsatz qualifizierter Schüler/Studenten, die zugelassen werden: 5/10 = 50%
Prozentsatz der abgelehnten Schüler/Studenten, die abgelehnt wurden: 72/90 = 80%
Gesamtanteil der zugelassenen Schüler/Studenten aus Brobdingnag: 5 + 18 ÷ 100 = 23%

Chancen für eine gleichmäßige Wahrscheinlichkeit sind erfüllt, da qualifizierte Lilliputianer und Brobdingnagian-Schüler eine Chance von 50% haben, und nicht qualifizierte Lilliputianer und Brobdingnagian-Schüler eine Wahrscheinlichkeit von 80% haben, abgelehnt zu werden.

Die gleichmäßige Wahrscheinlichkeit wird unter Gleichheit der Chancen im überwachten Lernen folgendermaßen definiert: &ort vorhersagender Ŷ erfüllt die gleichmäßigen Wahrscheinlichkeiten in Bezug auf das geschützte Attribut A und das Ergebnis Y, wenn Ŷ und A unabhängig sind und an Y gebunden sind.

Voreingenommenheit für Experimenter

#fairness

Siehe Bestätigungsverzerrung.

F

Fairness-Beschränkung

#fairness
Eine Einschränkung auf einen Algorithmus anwenden, damit eine oder mehrere Definitionen der Fairness erfüllt sind. Beispiele für Fairnesseinschränkungen:

Fairness-Messwert

#fairness

Eine mathematische Definition von „Fairness“, die messbar ist. Hier einige gängige Messwerte zur Fairness:

Viele Messwerte zur Fairness schließen sich gegenseitig aus. Weitere Informationen findest du unter Inkompatibilität der Messwerte zur Fairness.

G

Gruppenzuordnungsverzerrung

#fairness

Geht davon aus, dass das, was für einen Einzelnen gilt, auch für alle in dieser Gruppe gilt. Die Auswirkungen der Gruppenattributionsverzerrung können noch verstärkt werden, wenn eine willkürliche Stichprobenerhebung für die Datenerhebung verwendet wird. In einer nicht repräsentativen Stichprobe werden möglicherweise Attributionen vorgenommen, die nicht der Realität entsprechen.

Siehe auch Homogenitäts-Out-out-Gruppe und In-Group-Bias.

I

implizite Verzerrung

#fairness

Es wird automatisch eine Verbindung oder Annahme basierend auf den mentalen Modellen und Erinnerungen hergestellt. Eine implizite Verzerrung kann sich auf Folgendes auswirken:

  • Wie Daten erfasst und klassifiziert werden
  • Entwicklung und Entwicklung von ML-Systemen

Wenn ein Entwickler beispielsweise einen Klassifikator zur Identifizierung von Hochzeitsfotos erstellt, kann ein Entwickler das Vorhandensein eines weißen Kleids in einem Foto als Ausstattung nutzen. Weiße Kleider gibt es jedoch nur zu bestimmten Zeiten und in bestimmten Kulturen.

Siehe auch Bestätigungsverzerrung.

Inkompatibilität der Messwerte zur Fairness

#fairness

Die Idee, dass einige Fairness-Konzepte sich gegenseitig nicht kompatibel sind und nicht gleichzeitig erfüllt werden können. Deshalb gibt es keinen einzelnen universellen Messwert zur Quantifizierung von Fairness, der auf alle ML-Probleme angewendet werden kann.

Dies mag vielleicht abschreckend erscheinen, aber eine Inkompatibilität der Messwerte zur Fairness bedeutet nicht, dass Maßnahmen zur Fairness nutzlos sind. Stattdessen empfiehlt es sich, dass Fairness für ein bestimmtes ML-Problem kontextbezogen definiert wird, um Schaden zu vermeiden, die für seine Anwendungsfälle spezifisch sind.

Eine ausführlichere Diskussion zu diesem Thema finden Sie unter Im Artikel zu Chancengleichheit.

individuelle Fairness

#fairness

Ein Fairness-Messwert, mit dem geprüft wird, ob ähnliche Personen ähnlich klassifiziert werden. Die Brobdingnagian Academy möchte beispielsweise individuelle Fairness gewährleisten, indem sichergestellt wird, dass zwei Studenten mit identischen Noten und standardisierten Testergebnissen gleich Zulassung erhalten.

Wie Sie sehen, hängt davon ab, wie Sie die Ähnlichkeit definieren (in diesem Fall Noten und Testergebnisse). In diesem Fall besteht die Gefahr, dass neue Fairness-Probleme entstehen, wenn bei Ihrem Ähnlichkeitsmesswert wichtige Informationen fehlen (z. B. die Präzision des Lehrplans eines Schülers).

Unter "Fairness Through Bekanntheit finden Sie ausführlichere Informationen zu den einzelnen Fairness.

In-Group-Bias

#fairness

Eine partielle Darstellung der eigenen Gruppe oder der eigenen Eigenschaften wird gezeigt. Wenn Tester oder Bewerter aus Freunden, Familienmitgliedern oder Kollegen des maschinellen Lernprogramms bestehen, können Produkttests oder das Dataset durch In-Group-Bias ungültig werden.

„In-Group Bias“ ist eine Form der Gruppenattributionsverzerrung. Siehe auch Homogenitätsverzerrung außerhalb der Gruppe

N

verzerrungsfreie Verzerrung

#fairness

Siehe Auswahlverzerrung.

O

Out-Group-Homogenitätsverzerrung

#fairness

Die Einstellung von Out-Group-Mitgliedern ist beim Vergleichen von Einstellungen, Werten, Persönlichkeitsmerkmalen und anderen Merkmalen eher Ähnlichkeit mit In-Group-Mitgliedern. In-Group bezieht sich auf Personen, mit denen Sie regelmäßig interagieren, und Out-group bezieht sich auf Personen, mit denen Sie nicht regelmäßig interagieren. Wenn Sie ein Dataset erstellen, indem Sie Nutzer bitten, Attribute zu Gruppen anzugeben, sind diese Attribute möglicherweise weniger differenziert und stereotyper als Attribute, die Teilnehmer für die Personen in ihrer Gruppe auflisten.

Lilliputians könnten beispielsweise die Häuser anderer Lilliputianer ausführlich beschreiben und dabei kleine Unterschiede in den Architekturstilen, Fenstern, Türen und Größen zitieren. Es kann allerdings sein, dass dieselben Liliputaner einfach erklären, dass alle Brobdingnagier alle in denselben Häusern leben.

Die Verzerrung von Gruppenhomogenität ist eine Form der Gruppenattributionsverzerrung.

Weitere Informationen finden Sie unter In-Group-Bias.

P

Beteiligung am Programm

#fairness

Synonym für Verzerrung ohne Antwort. Siehe Auswahlverzerrung.

Nachbearbeitung

#fairness
#fundamentals

Die Ausgabe eines Modells wird angepasst, nachdem das Modell ausgeführt wurde. Die Nachbearbeitung kann verwendet werden, um Fairness-Einschränkungen durchzusetzen, ohne Modelle selbst zu ändern.

Sie können beispielsweise die Nachbearbeitung auf einen binären Klassifikator anwenden, indem Sie einen Klassifizierungsschwellenwert festlegen, sodass die Chancengleichheit für ein Attribut beibehalten wird. Dazu muss die richtig positive Rate für alle Werte dieses Attributs gleich sein.

Vorhersageparität

#fairness

Ein Fairness-Messwert, der prüft, ob die Präzisionsraten für einen bestimmten Klassifikator für die betrachteten Untergruppen gleichwertig sind.

Ein Modell, das die Akzeptanz auf dem College vorhersagt, würde beispielsweise die vorausschauende Gleichheit der Nationalitäten gewährleisten, wenn die Genauigkeitsrate für Lilliputians und Brobdingnagians gleich ist.

Die prädiktive Parität wird manchmal auch als Prognoseparität bezeichnet.

Detaillierte Informationen zur vorausschauenden Gleichheit finden Sie unter Erläuterung zu Fairness-Definitionen. (Abschnitt 3.2.1).

Ratengleichheit der Vorhersage

#fairness

Ein anderer Name für Vorhersageparität.

Vorverarbeitung

#fairness
Daten werden vor dem Trainieren eines Modells verarbeitet. Die Vorverarbeitung kann so einfach sein wie das Entfernen von Wörtern aus einem englischen Textkorpus, die nicht im englischen Wörterbuch vorkommen, oder so komplex wie das erneute Ausdrucken von Datenpunkten auf eine Weise, bei der so viele Attribute wie möglich aus sensiblen Attributen korreliert werden. Die Vorverarbeitung kann dabei helfen, die Fairness-Einschränkungen zu erfüllen.

Proxy (sensible Attribute)

#fairness
Ein Attribut, das als eigenständiges Attribut für ein sensibles Attribut verwendet wird. So kann beispielsweise die Postleitzahl einer Person als Proxy für ihr Einkommen, ihre ethnische Herkunft oder ihre ethnische Herkunft verwendet werden.

R

Berichtsverzerrung

#fairness

Die Tatsache, dass die Häufigkeit, mit der Nutzer über Aktionen, Ergebnisse oder Eigenschaften schreiben, nicht ihrer tatsächlichen Häufigkeit entspricht oder einem Grad entspricht, in dem eine Eigenschaft charakteristisch für eine Klasse von Einzelpersonen ist. Die Verzerrung in Berichten kann die Zusammensetzung der Daten beeinflussen, die Machine Learning-Systeme lernen.

In Büchern ist das Wort lacht beispielsweise vorherrschender als Atemzüge. Ein Modell für maschinelles Lernen, das die relative Häufigkeit von Lachen und Atmen aus einem Buchkorpus schätzt, würde wahrscheinlich ergeben, dass Lachen häufiger auftritt als Atmen.

S

Stichprobenverzerrung

#fairness

Siehe Auswahlverzerrung.

Auswahlverzerrung

#fairness

Fehler in Schlussfolgerungen, die aus Stichprobendaten resultieren, aufgrund eines Auswahlprozesses, der systematische Unterschiede zwischen den in den Daten beobachteten Stichproben und den nicht beobachteten Stichproben erzeugt. Es gibt die folgenden Formen der Auswahlverzerrung:

  • Abdeckungsverzerrung: Die im Dataset dargestellte Population stimmt nicht mit der Population überein, für die das Modell für maschinelles Lernen Vorhersagen trifft.
  • Stichprobenverzerrung: Die Daten werden nicht nach dem Zufallsprinzip von der Zielgruppe erfasst.
  • Non-Response Bias (auch Teilnahmeverzerrung genannt): Nutzer aus bestimmten Gruppen deaktivieren Umfragen mit unterschiedlichen Raten als Nutzer aus anderen Gruppen.

Angenommen, Sie erstellen ein Modell für maschinelles Lernen, das die Freude an einem Film vorhersagt. Zur Sammlung von Trainingsdaten gibst du eine Umfrage an alle Personen in der ersten Reihe eines Kinos, in dem der Film gezeigt wird. Dies mag auf den ersten Blick eine vernünftige Möglichkeit sein, ein Dataset zu erfassen. Mit dieser Form der Datenerhebung können jedoch folgende Formen der Auswahlverzerrung eingeführt werden:

  • Abdeckung von Verzerrungen: Durch die Stichprobe einer Population, die sich den Film angesehen hat, können die Vorhersagen deines Modells nicht auf Nutzer verallgemeinert werden, die sich noch nicht für dieses Interesse interessiert haben.
  • Stichprobenverzerrung: Statt Stichproben der zufälligen Bevölkerung (alle Personen im Film) stichst du nur in der ersten Reihe eine Stichprobe ein. Es besteht die Möglichkeit, dass die Personen, die in der ersten Reihe sitzen, sich mehr für den Film interessieren als die Personen in den anderen Zeilen.
  • Non-Response-Verzerrung: Im Allgemeinen sind Personen, die eine starke Meinung vertreten, tendenziell häufiger an optionalen Umfragen interessiert als Menschen mit leichten Meinungen. Da die Filmumfrage optional ist, bilden die Antworten eher eine bimodale Verteilung als eine normale (glockenförmige) Verteilung.

sensibles Attribut

#fairness
Ein menschliches Attribut, das aus rechtlichen, ethischen, sozialen oder persönlichen Gründen besonders berücksichtigt werden muss.

U

Bewusstsein (für ein sensibles Attribut)

#fairness

Eine Situation, in der sensible Attribute vorhanden, aber nicht in den Trainingsdaten enthalten sind. Da sensible Attribute häufig mit anderen Attributen der eigenen Daten korrelieren, kann es sein, dass ein Modell, das mit dem Bewusstsein für ein sensibles Attribut trainiert wurde, in Bezug auf dieses Attribut immer noch verschiedene Auswirkungen haben kann oder andere Fairness-Einschränkungen verletzt.