Justiça: tipos de viés

Tempo estimado: 5 minutos

Modelos de machine learning não são inerentemente objetivos. Os engenheiros treinam modelos ao alimentar um conjunto de dados de exemplos de treinamento, e o envolvimento humano no provisionamento e na seleção desses dados pode tornar as previsões de um modelo suscetíveis a vieses.

Ao criar modelos, é importante conhecer vieses humanos comuns que possam se manifestar nos seus dados. Assim, você pode tomar medidas proativas para reduzir os efeitos deles.

AVISO: o inventário de vieses a seguir fornece apenas uma pequena seleção de vieses que são frequentemente descobertos em conjuntos de dados de machine learning. Esta lista não é considerada completa. O catálogo de vieses cognitivos da Wikipédia enumera mais de cem tipos diferentes de vieses humanos que podem afetar o julgamento. Ao auditar seus dados, fique atento a todas as fontes de viés em potencial que podem distorcer as previsões do modelo.

viés de relatório

O viés de relatório ocorre quando a frequência de eventos, propriedades e/ou resultados capturados em um conjunto de dados não reflete com precisão a frequência real deles. Esse viés pode surgir porque as pessoas tendem a se concentrar em documentar circunstâncias incomuns ou especialmente memoráveis, supondo que o comum possa "ir sem dizer."

EXEMPLO: um modelo de análise de sentimento é treinado para prever se as avaliações do livro são positivas ou negativas com base em um corpus de envios de usuários para um site conhecido. A maioria das avaliações no conjunto de dados de treinamento reflete opiniões extremas (revisores que adoraram ou odiaram um livro), porque as pessoas têm menos probabilidade de enviar uma revisão de um livro se não responderem totalmente a ele. Como resultado, o modelo é menos capaz de prever corretamente a sentimento de avaliações que usam linguagem mais sutil para descrever um livro.

Viés de automação

O viés de automação é uma tendência a favorecer os resultados gerados por sistemas automatizados em relação aos gerados por sistemas não automatizados, independentemente das taxas de erro de cada um.

EXEMPLO: engenheiros de software que trabalhavam para um fabricante de pináculos que estavam ansiosos para implantar o novo modelo "groundbreaking" que treinaram para identificar desvios de dentes, até que o supervisor de fábrica indicou que as taxas de precisão e recall do modelo foram 15% mais baixas do que as de inspetores humanos.

Viés de seleção

O viés de seleção ocorre quando os exemplos de um conjunto de dados são escolhidos de maneira que não reflete a distribuição real deles. O viés de seleção pode ter muitas formas diferentes:

• Viés de cobertura: os dados não são selecionados de maneira representativa.

EXEMPLO: um modelo é treinado para prever as vendas futuras de um novo produto com base em pesquisas por smartphone conduzidas com uma amostra de consumidores que compraram o produto. Os consumidores que optaram por comprar um produto concorrente não foram entrevistados e, como resultado, esse grupo de pessoas não foi representado nos dados de treinamento.

• Viés de não resposta (ou viés de participação): os dados acabam sendo não representativos devido a lacunas de participação no processo de coleta de dados.

EXEMPLO: um modelo é treinado para prever as vendas futuras de um novo produto com base em pesquisas por smartphone conduzidas com uma amostra de consumidores que compraram o produto e com uma amostra de consumidores que compraram um produto concorrente. Os consumidores que compraram o produto concorrente tinham 80% mais chances de se recusar a responder à pesquisa, e os dados estavam sub-representados na amostra.

• Viés de amostragem: a escolha aleatória não é usada durante a coleta de dados.

EXEMPLO: um modelo é treinado para prever as vendas futuras de um novo produto com base em pesquisas por smartphone conduzidas com uma amostra de consumidores que compraram o produto e com uma amostra de consumidores que compraram um produto concorrente. Em vez de segmentar aleatoriamente os consumidores, o pesquisador escolheu os primeiros 200 consumidores que responderam a um e-mail, que podem estar mais entusiasmados com o produto do que os compradores médios.

Viés de atribuição do grupo

O viés de atribuição de grupos é uma tendência a generalizar o que é verdadeiro de indivíduos para um grupo inteiro ao qual eles pertencem. Duas manifestações importantes desse viés são:

• Viés no grupo: uma preferência para membros de um grupo a que você também pertence ou para características que você também compartilha.

EXEMPLO: dois engenheiros que treinam um modelo de triagem de currículos para desenvolvedores de software estão dispostos a acreditar que os candidatos que participaram da mesma academia de ciência da computação que ambos foram mais qualificados para a função.

• Viés de homogeneidade fora do grupo: uma tendência a estereotipar membros individuais de um grupo ao qual você não pertence ou ver as características deles como mais uniformes.

EXEMPLO: dois engenheiros que treinam um modelo de triagem de currículo para desenvolvedores de software estão dispostos a acreditar que todos os candidatos que não frequentam uma academia de ciência da computação não têm conhecimento suficiente para o papel.

Viés implícito

O viés implícito ocorre quando suposições são feitas com base em modelos mentais e experiências pessoais próprios que não se aplicam de modo mais geral.

EXEMPLO: um engenheiro que treina um modelo de reconhecimento de gestos usa um shake de cabeça como atributo para indicar que uma pessoa está comunicando a palavra "quot;no." No entanto, em algumas regiões do mundo, uma balanço na cabeça significa "yes."

Uma forma comum de viés implícito é o viés de confirmação, em que criadores de modelos processam inconscientemente dados de maneira que afirmem crenças e hipóteses preexistentes. Em alguns casos, um criador de modelos pode continuar treinando um modelo até produzir um resultado que se alinhe à hipótese original. Isso é chamado de viés do experimento.

EXEMPLO: um engenheiro está criando um modelo que prevê agressividade em cães com base em diversos atributos (altura, peso, raça, ambiente). A engenheira teve um encontro desagradável com um poodle de brinquedo hiperativo como criança e, desde então, associou a raça a agressão. Quando o modelo treinado previu que a maioria dos poodles de brinquedo era relativamente dócil, o engenheiro o treinou várias vezes até produzir um resultado que mostrasse poodles menores para serem mais violentos.

Termos-chave

viés de automação	viés de confirmação
viés de cobertura	viés do experimento
viés no grupo	viés de atribuição a grupos
viés implícito	viés de não resposta
viés de homogeneidade fora do grupo	viés de relatório
viés de amostragem	viés de seleção

Central de Ajuda