Uczciwość: typy odchylenia

Szacowany czas: 5 minut

Modele systemów uczących się nie są tu z założenia. Inżynierowie trenują modele, przesyłając im zbiór danych treningowych, a zaangażowanie człowieka w udostępnianie i selekcjonowanie tych danych może sprawić, że prognozy modelu będą podatne na tendencyjność.

Podczas tworzenia modeli należy pamiętać o częstych uprzedzeniach, które mogą pojawić się w danych, dzięki czemu można podjąć aktywne działania i zminimalizować ich skutki.

OSTRZEŻENIE: odchylenia w kierunku stronniczki to tylko niewielką ilość stron, które często odkrywa się w zbiorach danych systemów uczących się. Ta lista nie jest wyczerpująca. Katalog uprzedzeń w Wikipedii podaje ponad 100 różnych rodzajów uprzedzenia, które mogą mieć wpływ na nasze osądy. Sprawdzając dane, obserwuj wszelkie potencjalne odchylenia, które mogą mieć wpływ na prognozowanie modelu.

Odchylenie w raportach

Odchylenie w raportach ma miejsce, gdy częstotliwość zdarzeń, właściwości lub wyników zarejestrowanych w zbiorze danych nie odzwierciedla rzeczywistej częstotliwości w rzeczywistości. Może to wynikać z tego, że ludzie skupiają się na dokumentowaniu sytuacji, które są nietypowe lub szczególnie zapadające w pamięć, przy założeniu, że potoczne mogą być udane.

PRZYKŁAD: wytrenowany model analizy nastawienia pozwala przewidzieć, czy opinie na temat książek są pozytywne czy negatywne na podstawie zbioru danych o użytkownikach popularnej witryny. Większość opinii w zestawie danych treningowych odzwierciedla skrajne opinie (recenzentów, którzy uwielbiają lub nienawidzą książek), ponieważ jest mniej prawdopodobne, że prześlesz recenzję książki, jeśli na nią nie zareagują. W rezultacie model nie jest w stanie prawidłowo przewidywać, na czym polega opinia w subtelny sposób, aby opisać książkę.

Odchylenie w ramach automatyzacji

Odchylenie w automatyzacji to tendencję do faworyzowania wyników generowanych przez systemy automatyczne niż wyniki generowane przez systemy nieautomatyczne, niezależnie od częstotliwości błędów każdego z nich.

PRZYKŁAD: Inżynierowie oprogramowania pracujący dla producenta kołnierzy chcieli wdrożyć nowy, przełomowy model, który zidentyfikował wady. Dopóki przełożony nie zauważył, że model dokładności i czułości modelu jest o 15% niższy od współczynnika ludzkiego inspektora.

Odchylenie wyboru

Odchylenia na podstawie wyboru mają miejsce, jeśli przykłady zbioru danych są wybrane w sposób, który nie odzwierciedla ich rzeczywistego rozkładu. Odchylenia wyboru mogą mieć różne formaty:

• Odchylenia na podstawie zasięgu: dane nie są wybierane w sposób reprezentatywny.

PRZYKŁAD: model jest trenowany do prognozowania przyszłej sprzedaży nowego produktu na podstawie ankiet telefonicznych wykonanych na próbce konsumentów, którzy kupili produkt. Klienci, którzy zamiast tego zdecydowali się kupić konkurencyjny produkt, nie wzięli pod uwagę ankiety, w rezultacie ta grupa osób nie została uwzględniona w danych treningowych.

• Odchylenie w odpowiedzi (lub odchylenie w uczestnictwie: dane stają się niereprezentatywne z powodu luk w uczestnictwie w zbieraniu danych.

PRZYKŁAD: model jest trenowany do prognozowania przyszłej sprzedaży nowego produktu na podstawie ankiet telefonicznych odbywających się na podstawie grupy konsumentów, którzy kupili produkt, oraz próbki klientów, którzy kupili konkurencyjny produkt. Konsumenci, którzy kupili produkt konkurencji, mieli o 80% większe szanse na odmowę udziału w ankiecie, a ich dane były niedostatecznie reprezentowane w próbce.

• Zniekształcenia próbne: podczas zbierania danych nie jest stosowana odpowiednia kolejność.

PRZYKŁAD: model jest trenowany do prognozowania przyszłej sprzedaży nowego produktu na podstawie ankiet telefonicznych odbywających się na podstawie grupy konsumentów, którzy kupili produkt, oraz próbki klientów, którzy kupili konkurencyjny produkt. Zamiast losowego kierowania na konsumentów, ankietowana wybrała pierwszych 200 konsumentów, którzy odpowiedzieli na e-maila, którzy mogli być bardziej entuzjastycznie nastawieni do produktu niż przeciętni klienci.

Odchylenie grupy

Odchylenia na tle grup to uogólnienie względem całej grupy, do której należą. Dwa najważniejsze przykłady tego rodzaju błędów:

• Odchylenia w grupie: preferencje dotyczące członków grupy, do której należysz również lub cechy, które dzielisz.

PRZYKŁAD: 2 inżynierów biorących udział w programie CV poddawanym kontroli w programie jest w stanie założyć, że kandydaci, którzy wzięli udział w tej samej akademii informatyki, są bardziej skłonni do pracy.

• Odchylenie w przypadku jednorodności grupy: tendencje do stereotypu poszczególnych członków grupy, do których nie należysz lub chcesz zobaczyć, że ich cechy są bardziej jednolite.

PRZYKŁAD: 2 inżynierów biorących udział w programie CV, którzy zajmują się programowaniem, jest w stanie wstępnie założyć, że wszyscy kandydaci, którzy nie wzięli udziału w akademii akademickiej informatyki, nie mają wystarczających kompetencji do tej roli.

Pośredni wpływ

Przykładowe odchylenia mają miejsce, gdy założenia są oparte na własnych modelach umysłowych i osobistych doświadczeniach, które nie muszą być ogólnie stosowane.

PRZYKŁAD: inżynier korzystający z modelu rozpoznawania gestów używa potrząsania głową, aby wskazać, że dana osoba przekazuje komunikat. Jednak w niektórych regionach świata trzęsący się głową oznacza dodatkowo "tak."

Typowa forma dokładności odchyleń to odchylenia na potwierdzenie, w których modele modelujące nieświadomie przetwarzają dane w sposób potwierdzający istniejące przekonania i hipotezy. W niektórych przypadkach konstruktor modelu może w rzeczywistości trenować model, aż uzyska wynik zgodny z oryginalną hipotezą. Jest to tzw. odchylenie eksperymentu.

PRZYKŁAD: inżynier tworzy model, który przewiduje agresywność psów na podstawie różnych cech (wysokość, waga, rasa, środowisko). Kiedy inżynier był w dzieciństwa nieprzyjemny dla inżyniera, spotkał się z nieprzyjemnym doświadczeniem – od tej pory rasa wiąże się z agresywnymi zwierzętami. Kiedy wytrenowany model przewidywał większość zabawnych pudli, jest w nim dosłownie trenowany, aż okazuje się, że mniejsze pudle są bardziej brutalne.

Kluczowe terminy

odchylenie automatyzacji	potwierdzenie potwierdzenia
odchylenie pokrycia	Odchylenie eksperymentu
odchylenia w grupie	odchylenia na poziomie grupy
odchylenie domyślne	odchylenie w odpowiedziach,
odchylenia w przypadku jednorodności grupy	odchylenie w raportach
odchylenie próby	Odchylenie wyboru

Centrum pomocy