Glosariusz systemów uczących się: uczciwość

Zadbaj o dobrą organizację dzięki kolekcji Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.

Ta strona zawiera hasła ze słowniczka. Wszystkie terminy słowniczka znajdziesz tutaj.

A

atrybut

#fairness

Synonim funkcji.

W uczciwości systemów uczących się atrybuty często dotyczą cech konkretnych osób.

odchylenie automatyczne

#fairness

Gdy osoba podejmująca decyzje preferuje rekomendacje opracowane przez automatyczny system podejmowania decyzji, a nie automatyczne aktualizacje, nawet wtedy, gdy system automatycznego podejmowania decyzji popełnia błędy.

B

odchylenie (etyka/uczciwość)

#fairness
#fundamentals

1. Stereotyzowanie, uprzedzanie lub faworyzowanie w stosunku do rzeczy, osób lub grup. mogą wpływać na zbieranie i interpretację danych, projekt systemu oraz sposób interakcji użytkowników z systemem; Formy tego rodzaju odchylenia:

2. Błąd systematyczny wynikający z próbkowania lub procedury raportowania. Formy tego rodzaju odchylenia:

Nie należy go mylić z odchyleniami w modelach systemów uczących się ani odchyleniami prognoz.

C

odchylenie potwierdzenia

#fairness

Tendencje do wyszukiwania, interpretacji, faworyzowania i zapamiętywania informacji w sposób potwierdzający istniejące przekonania lub hipotezy Deweloperzy, którzy korzystają z systemów uczących się, mogą w niezamierzony sposób zbierać lub oznaczać dane etykietami w sposób wpływający na ich wyniki. Odchylenia na potwierdzenie to forma stronniczości.

Odchylenia eksperymentu to forma potwierdzenia, w której eksperyment kontynuuje trenowanie modeli do czasu potwierdzenia dotychczasowej hipotezy.

uczciwe roszczenie oparte na faktach

#fairness
Wskaźnik uczciwości, który sprawdza, czy klasyfikator generuje ten sam wynik dla innej osoby i jest taki sam jak pierwszy, z wyjątkiem atrybutów o charakterze kontrowersyjnym. Ocena klasyfikatora uczciwości opartej na faktach to jedna ze metod pozwalających poznać potencjalne źródła stronniczości w modelu.

Zobacz " „Worlds Collide: Integating Różne Counterfactual” Założenie dotyczące uczciwości, aby szczegółowo zapoznać się z prawdziwością faktów.

odchylenie pokrycia

#fairness

Zobacz odchylenia na podstawie wyboru.

D

równość demograficzna

#fairness

Wskaźnik uczciwości, który musi być spełniony, jeśli wyniki klasyfikacji modelu nie są zależne od podanego atrybutu o charakterze kontrowersyjnym.

Jeśli na przykład zarówno Lilliputians, jak i Brebdingnagians mają zastosowanie do Uniwersytetu Glubbdubdrib, poziom paraliżu ludności jest taki sam, jeśli odsetek akceptowanych przez tę osobę osób w grupie Libiputów jest taki sam, jak w przypadku pozostałych grup.

W przeciwieństwie do równych szans i równości szans, które umożliwiają klasyfikację wyników zbiorczych w oparciu o atrybuty o charakterze kontrowersyjnym, ale nie zezwalają na wyniki klasyfikacji dotyczące niektórych określonych etykiet danych podstawowych (zależnej) od atrybutów wrażliwych. Patrz sekcja "Atak dyskryminacji za pomocą inteligentnych systemów uczących się, aby zobaczyć wizualizacje kompromisów związanych z optymalizacją pod kątem spójności demograficznej.

niekorzystny wpływ

#fairness

Podejmowanie decyzji dotyczących osób, które mają niekorzystny wpływ na podgrupy populacji. Dzieje się tak zazwyczaj w sytuacjach, gdy proces podejmowania decyzji przez algorytm jest szkodliwy dla niektórych podgrup lub przynosi więcej korzyści niż inne.

Załóżmy na przykład, że algorytm określający Lilliputian, który kwalifikuje się do uzyskania miniatury, jest sklasyfikowany jako „nieodpowiedni”, jeśli adres pocztowy zawiera określony kod pocztowy. Jeśli lilijczycy z Big-Endian mają większe szanse na przesłanie adresu pocztowego takiego kodu niż Little-Endian Lilliputians, algorytm może się różnić.

Odróżnianie od różnicowego traktowania, które skupia się na rozbieżnościach, które wynikają z tego, że cechy podgrupy stanowią jawne wprowadzenie do procesu podejmowania decyzji algorytmicznych.

leczenie niejednoznaczne

#fairness

Uwzględnianie tematów i atrybutów o charakterze kontrowersyjnym w procesie podejmowania decyzji algorytmicznych, tak aby różne grupy użytkowników były traktowane inaczej.

Rozważmy na przykład algorytm, który określa, czy Lilliputians kwalifikuje się do uzyskania miniatury domu na podstawie danych podanych w zgłoszeniu do pożyczki. Jeśli dane wejściowe, z uwzględnieniem algorytmu Lilliputian, jako Little-Endian lub Little-Endian są określane przez Lilliputian, zastosowanie w tym wymiarze jest nieco inne.

kontrast z różnicą wpływu, który koncentruje się na różnicach społecznych wpływu algorytmów na decyzje dotyczące podgrup, niezależnie od tego, czy dotyczą tych podgrup.

E

równość szans

#fairness
Wskaźnik uczciwości, który sprawdza, czy w przypadku preferowanej etykiety (która przyznaje daną korzyść lub korzyść użytkownikowi) i danemu atrybutowi, klasyfikator preferuje tę samą wartość w przypadku wszystkich wartości tego atrybutu. Inaczej mówiąc, równość szans określa, czy osoby również powinny kwalifikować się do korzystania z danej możliwości, niezależnie od członkostw w grupie.

Załóżmy na przykład, że Uniwersytet Glubbdubdrib akceptuje rygorystyczne programy matematyczne zarówno przez Lilliputians, jak i Brobdingnagians. Szkoły średnie w Lilliputians zapewniają solidny program zajęć z matematyki, a większość studentów decyduje się na udział w programie uniwersyteckim. Szkoły ponadpodstawowe w ogóle nie biorą udziału w zajęciach z matematyki, a w rezultacie znacznie mniej tych kwalifikuje się do uczniów. Równość szans jest satysfakcjonująca dla preferowanej etykiety „zaakceptowana” ze względu na narodowość (Lilliputian lub Brobrdingnagian), jeśli zakwalifikowani uczniowie są tak samo ważni, niezależnie od tego, czy są oni Lilliputian, czy Brobdingnagian.

Załóżmy na przykład, że 100 Lilliputians i 100 Brebdingnagians ma zastosowanie do Uniwersytetu Glubbdubdrib, a decyzje wstępu są następujące:

Tabela 1. kandydaci w Lilliputian (90% zakwalifikowanych)

  Zakwalifikowany Niezakwalifikowany
Dozwolone 45 3
Odrzucony 45 7
Suma 90 10
Odsetek zaakceptowanych studentów: 45/90 = 50%
Odsetek odrzuconych uczniów, którzy się nie zaakceptowali: 7/10 = 70%
Łączny odsetek zaakceptowanych uczniów Lilliputian: (45+3)/100 = 48%

 

Tabela 2. Kandydaci z Brobronu (10% zakwalifikowanych):

  Zakwalifikowany Niezakwalifikowany
Dozwolone 5 9
Odrzucony 5 81
Suma 10 90
Odsetek zaakceptowanych uczniów: 5/10 = 50%
Odsetek zakwalifikowanych uczniów w ankiecie: 81/90 = 90%
Łączny odsetek zakwalifikowanych uczniów w Browdingnagii: (5 + 9)/100 = 14%

Podane wyżej przykłady dają jednakową szansę na przyjęcie do programu, ponieważ zakwalifikowani Lilliputians i Brebdingnagians mają 50% szans na przyjęcie do programu.

Więcej informacji na temat równości możliwości znajdziesz w sekcji Równość szans w nauce nadzorowanej. Zapoznaj się też z artykułem Atak dyskryminacji z inteligentnymi systemami uczącymi się, aby zobaczyć wizualizacje kompromisów związanych z optymalizacją pod kątem równości możliwości.

wyrównane prawdopodobieństwo

#fairness
Wskaźnik uczciwości, który sprawdza, czy w przypadku dowolnej etykiety i atrybutu klasyfikator przewiduje tę samą wartość dla wszystkich wartości tego atrybutu.

Załóżmy na przykład, że Uniwersytet Glubbdubdrib akceptuje rygorystyczne programy matematyczne zarówno przez Lilliputians, jak i Brobdingnagians. Lilliputians – szkoła średnia to bogata oferta zajęć matematycznych, a większość studentów decyduje się na udział w programie uniwersyteckim. Brobdingnagians i szkoły dodatkowe nie oferują lekcji matematyki, a w rezultacie znacznie mniej ich uczniów liczy się. Równe szanse są spełnione, o ile nie kwalifikują się do udziału w programie, czyli jeśli zakwalifikują się do programu Lilliputian lub Brobrdingnagian, z równym prawdopodobieństwem dołączysz do programu z równym prawdopodobieństwem.

Załóżmy, że w Glubbdubdrib uczestniczy 100 Lilliputians i 100 Brebdingnagians, a decyzje wstępu są następujące:

Tabela 3. kandydaci w Lilliputian (90% zakwalifikowanych)

  Zakwalifikowany Niezakwalifikowany
Dozwolone 45 2
Odrzucony 45 8
Suma 90 10
Odsetek zaakceptowanych uczniów: 45/90 = 50%
Odsetek odrzuconych uczniów, którzy nie spełniają kryteriów, 8/10 = 80%
Łączny odsetek zaakceptowanych uczniów Lilliputian: (45+2)/100 = 47%

 

Tabela 4. Kandydaci z Brobronu (10% zakwalifikowanych):

  Zakwalifikowany Niezakwalifikowany
Dozwolone 5 18
Odrzucony 5 72
Suma 10 90
Odsetek zaakceptowanych studentów: 5/10 = 50%
Odsetek odrzuconych uczniów, którzy spełniają wymagania, 72/90 = 80%
Łączny odsetek zaakceptowanych uczestników programu Brobdingnagian: (5 + 18) / 100 = 23%

Równomierne szanse są satysfakcjonujące, ponieważ zakwalifikowani uczniowie Lilliputian i Brebdingnagian mają 50% szans na przyjęcie do programu, a niezakwalifikowani Lilliputian i Bbrodingnagian mają 80% odrzuceń.

Równe prawdopodobieństwo wygranej są zdefiniowane w "równości szans w nauce nadzorowanej w następujący sposób:

odchylenie eksperymentu

#fairness

Zapoznaj się z artykułem Odchylenia z potwierdzeniami.

F

ograniczenie uczciwości

#fairness
Stosowanie ograniczenia do algorytmu, by zapewnić spełnienie co najmniej 1 definicji uczciwości. Przykładowe ograniczenia to:

wskaźnik sprawiedliwości

#fairness

Matematyczna definicja „uczciwości”, która jest mierzalna. Oto kilka popularnych wskaźników uczciwości:

Wiele danych dotyczących uczciwości wzajemnie się wyklucza – zapoznaj się z artykułem Niezgodność danych dotyczących uczciwości.

Z

odchylenie atrybucji grupy

#fairness

Zakładając, że to, co jest prawdziwe dla osoby, jest prawdziwe dla wszystkich w tej grupie. Efekty odchylenia atrybucji grupy mogą się pogorszyć, jeśli do zbierania danych służy próbkowanie dogodne. W przypadku niereprezentatywnej próbki można podać atrybucję, która nie odzwierciedla rzeczywistości.

Zapoznaj się też z odchyleniami dotyczącymi jednorodności grupy i odchylenia w grupie.

I

domyślne odchylenia

#fairness

Automatyczne tworzenie powiązania lub założenia na podstawie modeli umysłu i wspomnień. Pośredni wpływ może mieć wpływ na:

  • Sposób zbierania i klasyfikowania danych.
  • Projektowanie i opracowywanie systemów uczących się.

Na przykład podczas tworzenia klasyfikatora do identyfikacji zdjęć ślubnych inżynier może użyć obecności białej sukienki na zdjęciu. Jednak białe sukienki były pewne tylko w określonych okresach i w określonych kulturach.

Zapoznaj się też z artykułem Obiektywność.

niezgodność danych o uczciwości

#fairness

Koncepcja uczciwości wynika z tego, że obie strony są ze sobą niezgodne i nie można ich spełnić jednocześnie. W związku z tym nie ma uniwersalnej metody określania uczciwości, którą można zastosować do wszystkich problemów z systemami uczącymi się.

Może to wydawać się niesmaczne, ale brak zgodności z danymi dotyczącymi uczciwości nie wskazuje na to, że uczciwe działania są bezowocne. Zamiast tego zalecamy zdefiniowanie uczciwości dla danego problemu z systemami uczącymi się, aby zapobiec szkodom dla konkretnego przypadku użycia.

Szczegółową dyskusję na ten temat znajdziesz w sekcji Na temat uczciwości.

uczciwość fizyczna

#fairness

Dane dotyczące uczciwości, które sprawdzają, czy podobne osoby są sklasyfikowane. Na przykład Broddingnagian Academy chce zapewnić uczciwość względem siebie, dbając o to, aby 2 uczniów z takimi samymi ocenami i standardowymi wynikami testów z równym prawdopodobieństwem zbrały wstęp.

Pamiętaj, że każdy poziom uczciwości zależy wyłącznie od tego, jak zdefiniujesz &podobieństwo i podobieństwo (w tym przypadku oceny i wyniki testów), co może spowodować wprowadzenie nowych problemów, jeśli Twoje dane o podobieństwach pomijają istotne informacje (np. program nauczania).

Aby dowiedzieć się więcej o poszczególnych obiektywności, przeczytaj artykuł Uczciwość przez świadomość.

odchylenie w grupie

#fairness

Pokazuję częściowy charakter jednej grupy lub jej cech charakterystycznych. Jeśli testerzy lub testerzy składają się z znajomych, systemów uczących się lub znajomych rodziny, systemy uczące się mogą unieważnić testowanie produktów lub zbiór danych.

Odchylenie w grupie to forma odchylenia atrybucji grupy. Zapoznaj się też z artykułem Odchylenia w przypadku jednorodności grupy.

N

odchylenie w odpowiedzi

#fairness

Zobacz odchylenia na podstawie wyboru.

O

odchylenie w środowisku jednorodnym

#fairness

Tendencję do postrzegania członków grupy jako podobnych do siebie w grupie podczas porównywania postaw, wartości, cech osobowościowych i innych cech. W grupie oznacza osoby, z którymi regularnie się kontaktujesz, a poza grupą to osoby, z którymi regularnie się nie kontaktujesz. Jeśli utworzysz zbiór danych, prosząc użytkowników o podanie atrybutów dotyczących pozagrupami, mogą one być mniej szczegółowe i bardziej stereologiczne niż atrybuty wymienione przez uczestników w grupie.

Na przykład Lilliputian mogą opisać szczegółowo domy innych Lilliputianów, cytując niewielkie różnice w stylach architektonicznych, oknach, drzwiach i rozmiarach. Jednak ci lilijczycy mogą po prostu zadeklarować, że wszyscy robatorzy mieszkają w identycznych domach.

Odchylenie dla jednorodności w grupie to forma odchylenia atrybucji grupy.

Zapoznaj się też z artykułem Odchylenia w grupie.

P

odchylenie uczestnictwa

#fairness

synonim synonimu odpowiedzi innych niż reakcje. Zobacz odchylenia na podstawie wyboru.

przetwarzanie po przetworzeniu

#fairness
#fundamentals

Dostosowanie danych wyjściowych modelu po uruchomieniu. Obróbka danych może służyć do egzekwowania ograniczeń uczciwości bez konieczności modyfikowania modeli.

Możesz na przykład zastosować przetwarzanie końcowe do klasyfikatora binarnego, ustawiając próg klasyfikacji w taki sposób, aby równość możliwości była utrzymywana dla pewnego atrybutu, sprawdzając, czy rzeczywisty odsetek dodatnich jest taki sam dla wszystkich wartości tego atrybutu.

równość prognostyczna

#fairness

Wskaźnik uczciwości, który sprawdza, czy w przypadku danego klasyfikatora dokładność jest odpowiednikiem podgrup, które bierzesz pod uwagę.

Na przykład model przewidujący, że uczelnia będzie przyjemna dla obywateli, jeśli jej dokładność będzie taka sama w przypadku Lilliputians i Brobrdingnagians.

Spójność prognozowana jest też czasem nazywana spójnością prognozowanych współczynników.

Aby dowiedzieć się więcej, zapoznaj się z sekcją Definicje objaśnień (sekcja 3.2.1).

spójność stawki prognozowanej

#fairness

Inna nazwa spójności prognozowanej.

wstępne przetwarzanie

#fairness
Przetwarzanie danych przed ich użyciem do trenowania modelu. Proces przetwarzania może być równie prosty jak usunięcie słów z angielskiego korpusu tekstowego, które nie występują w słowniku angielskim, lub tak skomplikowane, jak ponowne wyrażanie punktów danych w sposób eliminujący jak najwięcej atrybutów powiązanych z atrybutami o charakterze kontrowersyjnym. Wstępne przetwarzanie może pomóc w spełnieniu ograniczeń dotyczących uczciwości.

serwer proxy (atrybuty poufne)

#fairness
Ten atrybut jest używany jako zastępcza do atrybutu o charakterze kontrowersyjnym. Na przykład kod pocztowy osoby fizycznej może służyć jako pośrednik dla dochodu, rasy lub przynależności etnicznej.

C

odchylenie raportowania

#fairness

Częstotliwość, z jaką użytkownicy piszą o działaniach, wynikach lub usługach, nie odzwierciedla rzeczywistej częstotliwości ich występowania ani tego, jak duża jest ich cecha fizyczna. Odchylenia w raportach mogą wpływać na strukturę danych, z których korzystają systemy uczące się.

Na przykład w przypadku książek słowo śmiech jest bardziej powszechne niż oddychane. Model systemów uczących się, który szacuje względną częstotliwość śmiechu i oddychania z korpusu książek, prawdopodobnie określi, że śmiech jest najpopularniejszy niż oddychanie.

s

odchylenie próby

#fairness

Zobacz odchylenia na podstawie wyboru.

odchylenie wyboru

#fairness

Błędy wyciągnięte z próbkowanych danych z powodu procesu wyboru, który generuje systematyczne różnice między próbkami zaobserwowanymi w danych i niezaobserwowanymi. Istnieją te rodzaje odchylenia wyboru:

  • Odchylenie pokrycia: populacja reprezentowana w zbiorze danych nie pasuje do populacji, dla której model systemów uczących się tworzy prognozy.
  • Odchylenie próby: dane nie są zbierane losowo z grupy docelowej.
  • Odchylenie w odpowiedziach (tzw. odchylenie w odpowiedzi): użytkownicy z niektórych grup rezygnują z ankiety w innym tempie niż użytkownicy z innych grup.

Załóżmy, że tworzysz model systemów uczących się, który przewiduje, że dany film spodoba się widzom. Aby zebrać dane treningowe, przedstawiasz ankietę wszystkim osobom w pierwszym rzędzie kina. Mogłoby to brzmieć rozsądnie jako sposób gromadzenia danych, jednak w ten sposób możemy określić następujące rodzaje błędów wyboru:

  • odchylenie w skali zasięgu: jeśli próbkowanie spowoduje wyświetlenie populacji odbiorców, prognozy modelu mogą nie obejmować osób, które nie wyraziły jeszcze tak dużego zainteresowania.
  • odchylenie próby: zamiast próbkowania losowego z docelowej populacji (wszystkich osób w filmie) próbkujesz tylko osoby z pierwszego wiersza. Może się zdarzyć, że osoby znajdujące się w pierwszym rzędzie były bardziej zainteresowane filmem niż osoby w innych wierszach.
  • odchylenia w odpowiedziach: osoby z wyraźną opinią zazwyczaj częściej odpowiadają na opcjonalne ankiety niż osoby z łagodnymi opiniami. Ankieta z filmem jest opcjonalna, więc odpowiedzi z większym prawdopodobieństwem będą miały formę rozkładu dwukierunkowego niż rozkład normalny (w kształcie dzwonka).

atrybut o charakterze kontrowersyjnym

#fairness
Ludzki atrybut, który może być szczególnie ważny ze względów prawnych, etycznych, społecznych lub osobistych.

U

nieświadomość (do atrybutu wrażliwego)

#fairness

Sytuacja, w której występują atrybuty o charakterze kontrowersyjnym, ale nie są one uwzględniane w danych treningowych. Atrybuty o charakterze kontrowersyjnym są często skorelowane z innymi atrybutami danych, więc model wytrenowany z niewyczuwaniem o atrybucie wrażliwym nadal może mieć zróżnicowany wpływ na ten atrybut lub naruszać inne ograniczenia w zakresie uczciwości.