Ta strona zawiera terminy z glosariusza dotyczącego uczciwości. Aby uzyskać dostęp do wszystkich glosariuszy, kliknij tutaj.
A
atrybut
Synonim funkcji feature.
W uczciwości systemów uczących się atrybuty często odnoszą się do cech związanych z poszczególnymi osobami.
odchylenie związane z automatyzacją
Gdy człowiek decyzyjni preferuje rekomendacje generowane przez system automatycznego podejmowania decyzji, a nie zautomatyzowane informacje o błędach, popełniają błędy.
B
uprzedzenia (etyka/uczciwość)
1. Stereotyzowanie, uprzedzenie lub faworyzowanie niektórych rzeczy, osób lub grup. Te odchylenia mogą wpływać na zbieranie i interpretację danych, na wygląd projektu oraz na interakcję użytkowników z systemem. Tego rodzaju uprzedzenia obejmują:
- stronniczość automatyzacji,
- odchylenie potwierdzenia
- stronniczość eksperymentu
- odchylenie atrybucji grupy
- stronnicze odchylenia,
- stronniczość grupy,
- stronniczość jednorodności grupy,
2. Błąd systematyczny wprowadzony za pomocą próbkowania lub raportowania. Tego rodzaju uprzedzenia obejmują:
- stronniczość,
- stronniczość braku odpowiedzi;
- stronniczość uczestnictwa,
- odchylenie raportowania
- odchylenie próbkowania
- stronniczość wyborów
Nie należy ich mylić z odchyleniami w modelach systemów uczących się ani z odchyleniem prognozy.
C
potwierdzenie odchylenia
Tendencję do szukania, interpretowania, faworyzowania i zapamiętania informacji w sposób, który potwierdza ich wcześniejsze przekonania lub hipotezy. Deweloperzy systemów uczących się mogą w sposób niezamierzony zbierać lub oznaczać dane danymi w sposób mający wpływ na wyniki, które potwierdzają ich dotychczasowe przekonania. Promowanie stronniczości to forma stronniczego uprzedzenia.
Odchylenie eksperymentu to forma uprzedzeń w zakresie potwierdzenia, w której eksperymenter kontynuuje trenowanie modeli do czasu potwierdzenia dotychczasowej hipotezy.
uczciwość względem fakty
Wskaźnik sprawiedliwości, który sprawdza, czy klasyfikator przynosi taki sam wynik jednej osobie, jak w przypadku innej osoby, która jest identyczna z pierwszą, z wyjątkiem jednego atrybutu o charakterze kontrowersyjnym. Ocena klasyfikatora pod kątem uczciwości kontrfaktycznej to jedna z metod uwzględniania potencjalnych źródeł uprzedzeń w modelu.Zajrzyj na stronę „Gdy światy kolidują: integrowanie różnych założeń kontrfaktycznych” w zakresie uczciwości”, który znajdziesz w bardziej szczegółowej dyskusji na temat uczciwości.
odchylenie zakresu
Zobacz stronniczość wyborów.
D
równość demograficzna
Wskaźnik sprawiedliwości, który jest satysfakcjonujący, jeśli wyniki klasyfikacji modelu nie zależą od danego atrybutu poufnego.
Jeśli na przykład w Glubbdubdrib Uniwersytetu obowiązują lilliputians i brubdingnagians, różnica jest równa tym samym, że odsetek akceptowanych przez Libiputianów jest taki sam, jak w przypadku procentu przyjętych.
W przeciwieństwie do równych szans i równości szans, które pozwalają na zbiorcze klasyfikowanie wyników zależnych od atrybutów o charakterze kontrowersyjnym, nie zezwalają na to, aby wyniki klasyfikacji niektórych określonych etykiet podstawowych (ground truth) były zależne od atrybutów o charakterze kontrowersyjnym. W artykule „Atak dyskryminacji za pomocą inteligentnych systemów uczących się” znajdziesz wizualizację pokazującą wady i zalety optymalizacji pod kątem równości demograficznej.
niekorzystny wpływ
Podejmowanie nieproporcjonalnych decyzji dotyczących osób, które mają wpływ na różne podgrupy populacji. Zwykle odnosi się to do sytuacji, w których algorytm podejmowania decyzji szkodliwie wpływa na podgrupy.
Załóżmy na przykład, że algorytm, który określa, czy Lilliputian kwalifikuje się do uzyskania pożyczki-miniaturowego domu, może z większym prawdopodobieństwem zaklasyfikować go do kategorii „Nieodpowiedni”, jeśli jego adres pocztowy zawiera określony kod pocztowy. Jeśli taki kod pocztowy ma większą liczbę adresatów niż Little-Endian Lilliputians, ten algorytm może mieć odmienny wpływ.
W przeciwieństwie do różnego traktowania, który skupia się na rozbieżnościach wynikających z tego, że cechy podgrup są wyraźnie uwzględniane w procesie decyzyjnym.
leczenie zróżnicowane
Uwzględnienie atrybutów o charakterze kontrowersyjnym w procesie podejmowania decyzji przez algorytm, dzięki czemu poszczególne grupy osób są traktowane inaczej.
Możesz na przykład użyć algorytmu, który określa, czy Lilliputians mogą otrzymać miniaturową kredyt hipoteczny na podstawie danych przekazanych we wniosku kredytowym. Jeśli algorytm używa powiązań Liliiputian jako Big-Endian lub Little-Endian jako danych wejściowych, oznacza to, że w odniesieniu do tego wymiaru stosowane jest zróżnicowane traktowanie.
W przeciwieństwie do różnicowego wpływu, który skupia się na różnicach w społecznym wpływie decyzji algorytmicznych na podgrupy, niezależnie od tego, czy te podgrupy mają udział w modelu.
1
równość szans
Wskaźnik sprawiedliwości, który sprawdza, czy w przypadku preferowanej etykiety (oznaczającej korzyść lub korzyść dla osoby) i danego atrybutu klasyfikatory przewidują, że preferowana etykieta będzie równie przydatna w przypadku wszystkich wartości tego atrybutu. Innymi słowy, równość szans określa, czy osoby, które powinny skorzystać z danej możliwości, są do tego podobne, niezależnie od członkostwa w grupie.Załóżmy na przykład, że w rygorystycznym programie matematycznym Uniwersytet Glubbdubdrib przyjmuje zarówno licencjobiorców, jak i braganistów. Szkoły ponadpodstawowe Lilliputian oferują bogaty program zajęć z matematyki, a zdecydowana większość studentów spełnia wymagania programu. Szkoły ponadgimnazjalne w ogóle nie oferują zajęć z matematyki, w związku z czym znacznie mniej osób uczęszcza do szkoły. Równość szans jest brana pod uwagę w stosunku do preferowanej etykiety „przyjęcia” w odniesieniu do narodowości (Lilifortu albo Bromdingnagian), jeśli zakwalifikowani uczniowie są w równym stopniu uznawani bez względu na to, czy są lilijczykiem, czy brobbinggiem.
Załóżmy, że do Uniwersytetu Glubbdubdrib odnosi się 100 Lilliputians i 100 Brobdingnagians, a decyzje o wstępie są podejmowane w następujący sposób:
Tabela 1. kandydaci lilliputian (90% kwalifikujących się)
Zakwalifikowany | Niezakwalifikowany | |
---|---|---|
Zaakceptowane | 45 | 3 |
Odrzucony | 45 | 7 |
Łącznie | 90 | 10 |
Odsetek zakwalifikowanych uczniów: 45/90 = 50% Odsetek niezakwalifikowanych uczniów: 7/10 = 70% Łączny odsetek zaakceptowanych uczniów Lilliputian: (45+3)/100 = 48% |
Tabela 2. Kandydaci do brebdingnagii (10% spełniających wymagania):
Zakwalifikowany | Niezakwalifikowany | |
---|---|---|
Zaakceptowane | 5 | 9 |
Odrzucony | 5 | 81 |
Łącznie | 10 | 90 |
Odsetek zaakceptowanych uczniów: 5/10 = 50% Odsetek niezakwalifikowanych uczniów: 81/90 = 90% Odsetek zaakceptowanych uczniów Brabdingnagian: (5+9)/100 = 14% |
Poprzednie przykłady spełniają równe szanse na przyjęcie zakwalifikowanych uczniów, ponieważ zarówno aktywni licencjonowani, jak i brubdingowie mają 50% szans na przyjęcie do szkoły.
Więcej informacji na temat równości szans znajdziesz w artykule Równość szans w nauce nadzorowanej. Zapoznaj się też z artykułem Atak dyskryminacji z wykorzystaniem uczenia maszynowego, który przedstawia wizualizacje kompromisów przy optymalizacji pod kątem równości szans.
prawdopodobieństwo wyrównania
Wskaźnik sprawiedliwości, który sprawdza, czy w przypadku danej etykiety i atrybutu atrybut poprawnie szacuje etykietę dla wszystkich wartości tego atrybutu.Załóżmy na przykład, że w rygorystycznym programie matematycznym Uniwersytet Glubbdubdrib przyjmuje zarówno Lilliputians, jak i Brobdingnagians. Szkoły ponadpodstawowe w Lilliputian oferują bogaty program zajęć z matematyki, a zdecydowana większość studentów spełnia wymagania programu. Szkoły ponadgimnazjalne w ogóle nie oferują zajęć z matematyki, przez co znacznie mniej uczniów się do nich uczę. Równe szanse są satysfakcjonujące, pod warunkiem, że osoba zakwalifikowana jako Lilliputian lub Brobbingnagian, jeśli zostanie zakwalifikowana, ma taką samą szansę na przyjęcie do programu, a jej szanse na przyjęcie do programu są tak samo niewielkie.
Załóżmy, że 100 Lilliputians i 100 Brebdingnagians działa na Glubbdubdrib University, a decyzje w zakresie przyjęcia są podejmowane w następujący sposób:
Tabela 3. kandydaci lilliputian (90% kwalifikujących się)
Zakwalifikowany | Niezakwalifikowany | |
---|---|---|
Zaakceptowane | 45 | 2 |
Odrzucony | 45 | 8 |
Łącznie | 90 | 10 |
Odsetek zaakceptowanych uczniów: 45/90 = 50% Odsetek odrzuconych uczniów spełniających kryteria: 8/10 = 80% Odsetek zaakceptowanych uczniów Lilliputian: (45+2)/100 = 47% |
Tabela 4. Kandydaci do brebdingnagii (10% spełniających wymagania):
Zakwalifikowany | Niezakwalifikowany | |
---|---|---|
Zaakceptowane | 5 | 18 |
Odrzucony | 5 | 72 |
Łącznie | 10 | 90 |
Odsetek zaakceptowanych uczniów: 5/10 = 50% Odsetek niezakwalifikowanych uczniów: 72/90 = 80% Odsetek zaakceptowanych uczniów Brabdingnagian: (5+18)/100 = 23% |
szanse na przyjęcie są równe, ponieważ zakwalifikowani uczniowie Lilliputian i Brobdingnagian mają 50% szans na przyjęcie do programu, a niezakwalifikowani Lilliputian i Brobdingnagian mają 80% szans na odrzucenie.
Szansa jest równoważna w ramach „Równości szans w nauce nadzorowanej” w ten sposób: „Predykt uwzględnia w przypadku równego prawdopodobieństwa prawdopodobieństwo w odniesieniu do chronionego atrybutu A i wyniku Y, jeśli parametr Ŷ i A jest niezależne od warunku Y”.
odchylenie eksperymentu
Zobacz stronniczość potwierdzenia.
Pt
ograniczenie sprawiedliwości
Stosowanie ograniczenia do algorytmu, aby zapewnić spełnienie co najmniej jednej definicji uczciwości. Oto przykłady ograniczeń objętych uczciwością:- Po przetworzeniu danych wyjściowych modelu.
- Zmiana funkcji utraty danych polegająca na nałożeniu kary za naruszenie wskaźnika sprawiedliwości.
- Bezpośrednie dodanie ograniczenia matematycznego do zadania optymalizacji.
wskaźnik sprawiedliwości
Matematyczna definicja „uczciwości”, która jest wymierna. Oto kilka często używanych wskaźników uczciwości:
- wyrównanie prawdopodobieństwa
- spójność prognozowana
- prawdziwość kontrfaktyczna,
- równość demograficzna
Wiele danych dotyczących uczciwości wzajemnie się wyklucza – zobacz niezgodność danych dotyczących uczciwości.
G
odchylenie atrybucji grupy
Założenie, że to jest prawdziwe dla każdej osoby w tej grupie. Konsekwencje tendencyjności atrybucji grup mogą się pogorszyć, jeśli do zbierania danych zostanie wykorzystane próbkowanie dogodne. W niereprezentatywnej próbce można stosować atrybucję, która nie odzwierciedla rzeczywistości.
Zobacz też stronowość stron w grupie i odchylenie w grupie.
I
niejasne odchylenie
Automatyczne tworzenie powiązań lub założeń na podstawie własnych modeli psychicznych i wspomnień. Pośrednie uprzedzenia mogą wpływać na:
- Sposób zbierania i klasyfikowania danych.
- Jak zostały zaprojektowane i rozwijane systemy uczące się
Na przykład podczas tworzenia klasyfikatora do identyfikacji zdjęć ślubnych inżynier może wykorzystać funkcję białej sukienki na zdjęciu. Jednak białe sukienki są zwyczajowe tylko w pewnych okresach i w określonych kulturach.
Zobacz też Odchylenie potwierdzenia.
brak zgodności z danymi dotyczącymi uczciwości
Niektóre koncepcje uczciwości są ze sobą sprzeczne i nie można ich zrealizować jednocześnie. W efekcie nie ma jednego uniwersalnego wskaźnika do oceny uczciwości, który można by zastosować do wszystkich problemów z systemami uczącymi się.
Choć może się to wydawać zniechęcające, niekompatybilność danych dotyczących uczciwości nie oznacza, że działania związane z uczciwością są bezwartościowe. Sugeruje on, że w przypadku danego problemu z systemami uczącymi się należy definiować sprawiedliwość, aby zapobiegać szkodom w jego przypadku.
Bardziej szczegółową dyskusję na ten temat znajdziesz na stronie „(Możliwość) uczciwości”.
obiektywność indywidualna
Sprawiedliwość, która sprawdza, czy podobne osoby są sklasyfikowane w podobny sposób. Na przykład w Akademii Brobordzkiej może zaspokoić uczciwe traktowanie, zapewniając, że dwoje uczniów z takimi samymi ocenami i standardowymi wynikami testów jest tak samo ważne
Pamiętaj, że obiektywność jest całkowicie zależna od tego, jak zdefiniujesz „podobieństwa” (w tym przypadku oceny i wyniki testów). Jeśli Twoje dane o podobieństwie nie zawierają ważnych informacji (np. wyższości programu nauczania danego ucznia), ryzykujesz wprowadzenie nowych problemów związanych z rzetelnością.
Szczegółową dyskusję na temat uczciwości indywidualnej znajdziesz w artykule „Uczciwość przez świadomość”.
odchylenie w grupie
pokazywanie częściowej tożsamości własnej grupy lub cech, Jeśli testerzy lub weryfikatorzy składają się ze znajomych, rodziny lub współpracowników dewelopera systemów uczących się, błędy w grupie mogą powodować unieważnienie testowania produktów lub zbioru danych.
Odchylenie w grupie to forma stronniczości atrybucji grup. Zobacz też Odchylenie jednorodności grupy.
N
odchylenie związane z brakiem odpowiedzi
Zobacz stronniczość wyborów.
O
odchylenie jednorodności grupy
Tendencję do postrzegania członków poza grupą jako bardziej podobnych niż członków grupy w porównaniu nastawienia, wartości, cech osobowości i innych cech. W grupie to osoby, z którymi regularnie się kontaktujesz, a poza grupą to osoby, z którymi nie regularnie się kontaktujesz. Jeśli utworzysz zbiór danych, prosząc użytkowników o podanie atrybutów dotyczących pozagrup, mogą one być mniej niuansowane i stereotypowe niż atrybuty wymieniane przez osoby w grupie.
Na przykład Lilliputians mogą szczegółowo opisywać domy innych licencjobiorców, cytując niewielkie różnice w architekturze, oknach, drzwiach i rozmiarach. Ci sami Lilliputian mogą jednak zadeklarować, że wszyscy mieszkają w identycznych budynkach.
Tendencyjność jednorodności grupy jest formą stronniczości atrybucji grup.
Zobacz też stronniczość w grupie.
P
odchylenie udziału
synonim synonimu tendencyjności. Zobacz stronniczość wyborów.
przetwarzanie końcowe
Dostosowywanie danych wyjściowych modelu po uruchomieniu. Przetwarzanie końcowe może służyć do egzekwowania ograniczeń uczciwości bez konieczności modyfikowania modeli.
Można na przykład zastosować przetwarzanie klasyfikatora binarnego do klasyfikatora binarnego, ustawiając próg klasyfikacji w taki sposób, aby równość szans była utrzymywana dla niektórych atrybutów przez sprawdzenie, czy rzeczywisty współczynnik dodatnich jest taki sam dla wszystkich wartości tego atrybutu.
parzystość
Wskaźnik sprawiedliwości, który sprawdza, czy w przypadku danego klasyfikatora dokładność jest odpowiednikiem w podgrupach rozważanych.
Na przykład model przewidujący, że szkoła zostanie zaakceptowana, będzie odpowiadać parzystości narodowościowej, jeśli jej dokładność będzie taka sama w przypadku Lilliputians i Brobrdingnagians.
Spójność prognozowana jest też nazywana parzystością prognozy.
Więcej informacji na temat prognostycznych parzystości znajdziesz w artykule „Wyjaśnienia dotyczące uczciwości” (sekcja 3.2.1).
takie samo prawdopodobieństwo
Inna nazwa prognozowania równości.
wstępne przetwarzanie
Przetwarzanie danych przed ich użyciem do trenowania modelu. Wstępne przetwarzanie może być tak proste, jak usuwanie słów z anglojęzycznego korpusu, które nie występują w słowniku języka angielskiego, albo tak złożonego jak ponowne wyrażanie punktów danych w sposób eliminujący jak najwięcej atrybutów skorelowanych z atrybutami o charakterze wrażliwym. Wstępne przetwarzanie może pomóc w spełnieniu ograniczeń uczciwości.proxy (atrybuty poufne)
Atrybut używany jako zastępczy atrybut wrażliwy. Na przykład kod pocztowy danej osoby może służyć jako pośrednik dla jej dochodu, rasy lub przynależności etnicznej.R
odchylenie raportowania
Częstotliwość, z jaką użytkownicy piszą o działaniach, wynikach lub właściwościach, nie odzwierciedla rzeczywistej częstotliwości i tego, w jakim stopniu usługa jest charakterystyczna dla określonej grupy osób. Odchylenie raportowania może wpływać na strukturę danych, z których korzystają systemy uczące się.
Na przykład w przypadku książek słowo śmiech jest bardziej rozpowszechnione niż oddychane. Model systemów uczących się, który szacuje względną częstotliwość śmiechu i oddychania z korpusu książek, prawdopodobnie sprawi, że śmiech będzie częściej niż oddychanie.
S
odchylenie próby
Zobacz stronniczość wyborów.
odchylenie wyboru
Błędy wyciągnięte na podstawie próbkowanych danych spowodowane procesem wyboru, który generuje systematyczne różnice między próbkami zaobserwowanymi w danych i danymi, które nie zostały zaobserwowane. Istnieją te formy odchylenia wyboru:
- Odchylenie pokrycia: populacja reprezentowana w zbiorze danych nie pasuje do populacji, w przypadku której model systemów uczących się prognozuje.
- Odchylenie próbkowania: dane nie są pobierane losowo z grupy docelowej.
- Odchylenia w odpowiedzi (nazywane też stronnictwem udziału): użytkownicy z niektórych grup rezygnują z ankiet w innym tempie niż w przypadku innych grup.
Załóżmy np., że tworzysz model systemów uczących się, który przewiduje, czy widzom spodoba się film. Aby zebrać dane treningowe, rozdajesz ankietę wszystkim odbiorcom w pierwszym rzędzie kina. Może się to wydawać uzasadnione przy zbieraniu danych, jednak ta forma gromadzenia danych może wprowadzić w ten sposób tendencyjność wyboru:
- odchylenie zasięgu: w przypadku próby wykorzystanej wśród osób, które zdecydowały się obejrzeć film, prognozy modelu mogą nie uogólnić osób, które nie wyraziły jeszcze takiego zainteresowania.
- odchylenie próby: zamiast próbkowania losowego z zamierzonej populacji (wszystkich osób w filmie) próbkowanie obejmuje tylko osoby z pierwszego wiersza. Niektóre osoby w pierwszym rzędzie były bardziej zainteresowane filmem niż osoby w innych wierszach.
- stronniczość odpowiedzi: osoby z głęboką opinią zazwyczaj odpowiadają na opcjonalne ankiety częściej niż osoby o łagodnych poglądach. Ponieważ ankieta jest opcjonalna, odpowiedzi dają większe szanse na rozpowszechnienie rozkładu niż normalne, przypominające kształtem dzwon.
atrybut o charakterze kontrowersyjnym
Atrybut człowieka, który może być brany pod uwagę ze względów prawnych, etycznych, społecznych lub osobistych.U
świadomość (do atrybutu poufnego)
Sytuacja, w której występują atrybuty o charakterze kontrowersyjnym, ale nie są one uwzględniane w danych treningowych. Ponieważ atrybuty o charakterze kontrowersyjnym są często powiązane z innymi atrybutami danych, model wytrenowany z nieświadomością dotyczącą atrybutu o charakterze wrażliwym może nadal mieć różnicę wpływu w odniesieniu do tego atrybutu lub naruszać inne ograniczenia dotyczące uczciwości.