Equità: mitigare i bias

Una volta identificata una fonte di bias nei dati di addestramento, possiamo adottare misure proattive per attenuarne gli effetti. Esistono due strategie principali che gli ingegneri di machine learning (ML) impiegano in genere per correggere i bias:

  • Aumentare i dati di addestramento.
  • Modifica della funzione di perdita del modello.

Potenziamento dei dati di addestramento

Se un controllo dei dati di addestramento ha rilevato problemi con dati mancanti, errati o distorti, spesso il modo più semplice per risolvere il problema è raccogliere dati aggiuntivi.

Tuttavia, anche se l'aumento dei dati di addestramento può essere ideale, il rovescio della medaglia di questo approccio è che può anche non essere fattibile, a causa della mancanza di dati disponibili o di vincoli di risorse che impediscono la raccolta dei dati. Ad esempio, raccogliere più dati potrebbe essere troppo costoso o richiedere troppo tempo oppure non essere fattibile a causa di limitazioni legali/relative alla privacy.

Modifica della funzione di ottimizzazione del modello

Nei casi in cui non sia possibile raccogliere dati di addestramento aggiuntivi, un altro approccio per ridurre il bias è modificare il modo in cui viene calcolata la perdita durante l'addestramento del modello. In genere utilizziamo una funzione di ottimizzazione come la perdita di log per penalizzare le previsioni errate del modello. Tuttavia, la perdita di log non prende in considerazione l'appartenenza ai sottogruppi. Quindi, invece di utilizzare la perdita di log, possiamo scegliere una funzione di ottimizzazione progettata per penalizzare gli errori in modo che siano consapevoli dell'equità e contrasti gli squilibri che abbiamo identificato nei nostri dati di addestramento.

La libreria TensorFlow Model Remediation offre utilità per applicare due diverse tecniche di mitigazione dei bias durante l'addestramento del modello:

  • MinDiff: MinDiff mira a bilanciare gli errori per due diversi segmenti di dati (studenti di genere maschile/femminile rispetto a studenti non binari) aggiungendo una penalità per le differenze nelle distribuzioni delle previsioni per i due gruppi.

  • Counterfactual Logit Pairing: Counterfactual Logit Pairing (CLP) mira a garantire che la modifica di un attributo sensibile di un determinato esempio non alteri la previsione del modello per quell'esempio. Ad esempio, se un set di dati di addestramento contiene due esempi i cui valori di caratteristica sono identici, ad eccezione del fatto che uno ha il valore gender di male e l'altro ha un valore gender pari a nonbinary, CLP aggiungerà una penalità se le previsioni per questi due esempi sono diverse.

Le tecniche che scegli per regolare la funzione di ottimizzazione dipendono dai casi d'uso del modello. Nella sezione successiva esamineremo più da vicino come affrontare l'attività di valutazione dell'equità di un modello tenendo conto di questi casi d'uso.

Esercizio: verifica la tua comprensione

Quali delle seguenti affermazioni relative alle tecniche di mitigazione del bias sono vere?
Sia MinDiff che CLP penalizzano le discrepanze nelle prestazioni del modello legate ad attributi sensibili
Entrambe le tecniche mirano a mitigare i bias penalizzando gli errori di previsione derivanti da squilibri nella rappresentazione degli attributi sensibili nei dati di addestramento.
MinDiff penalizza le differenze nella distribuzione complessiva delle previsioni per diversi intervalli di dati, mentre CLP penalizza le discrepanze nelle previsioni per singole coppie di esempi.
MinDiff corregge i bias allineando le distribuzioni dei punteggi per due sottogruppi. Il CLP affronta i pregiudizi garantendo che i singoli esempi non vengano trattati in modo diverso solo in base alla loro appartenenza a un sottogruppo.
L'aggiunta di altri esempi al set di dati di addestramento è sempre utile per contrastare i bias nelle previsioni di un modello.
L'aggiunta di altri esempi di addestramento è una strategia efficace per attenuare i bias, ma la composizione dei nuovi dati di addestramento è importante. Se gli esempi di addestramento aggiuntivi presentano squilibri simili ai dati originali, probabilmente non contribuiranno a mitigare il bias esistente.
Se stai mitigando i bias aggiungendo altri dati di addestramento, non devi applicare anche MinDiff o CLP durante l'addestramento.
L'aumento dei dati di addestramento e l'applicazione di tecniche come MinDiff o CLP possono essere complementari. Ad esempio, un ingegnere ML potrebbe essere in grado di raccogliere dati di addestramento aggiuntivi sufficienti per ridurre una discrepanza nel rendimento del 30% e poi utilizzare MinDiff per ridurre ulteriormente la discrepanza di un altro 50%.
Indietro
Identificazione dei pregiudizi (10 min)
Avanti
Valutazione della parzialità (5 min)