Equidad: Tipos de sesgo

Tiempo estimado: 5 minutos

Los modelos de aprendizaje automático no son intrínsecamente objetivos. Los ingenieros alimentan los modelos mediante un conjunto de datos de ejemplos de entrenamiento, y la participación humana en el aprovisionamiento y la selección de estos datos puede hacer que las predicciones de un modelo sean susceptibles al sesgo.

Cuando creas modelos, es importante tener en cuenta los sesgos cognitivos humanos que pueden manifestarse en los datos, de modo que puedas tomar medidas proactivas para mitigar sus efectos.

ADVERTENCIA: El siguiente inventario de sesgos proporciona solo una pequeña selección de sesgos que a menudo se encuentran en los conjuntos de datos de aprendizaje automático. Esta lista no pretende ser exhaustiva. En el catálogo de sesgos cognitivos de Wikipedia, se enumeran más de 100 tipos diferentes de sesgo humano que pueden afectar nuestro criterio. Cuando audites tus datos, debes estar atento a todas las posibles fuentes de sesgo que podrían sesgar las predicciones de tu modelo.

Sesgo de reporte

El sesgo de informe se produce cuando la frecuencia de los eventos, las propiedades o los resultados capturados en un conjunto de datos no refleja con exactitud su frecuencia en el mundo real. Este sesgo puede surgir porque las personas tienden a enfocarse en documentar circunstancias que son inusuales o especialmente memorables, suponiendo que lo común puede ir sin decirlo.

EJEMPLO: Se entrena un modelo de análisis de opiniones para predecir si las reseñas de libros son positivas o negativas en función de un corpus que recopila lo que envían los usuarios a un sitio web popular. La mayoría de las opiniones del conjunto de datos de entrenamiento reflejan opiniones extremas (revisores que odiaron o amaron un libro), ya que era menos probable que las personas enviaran una reseña si no respondieron fuertemente. Como resultado, el modelo tiene menos capacidad para predecir correctamente la opinión de las opiniones que usan un lenguaje más sutil para describir un libro.

Sesgo de automatización

El sesgo de automatización es la tendencia a favorecer los resultados que se generan mediante sistemas automatizados en lugar de aquellos generados por sistemas no automatizados, sin importar las tasas de error de cada uno.

EJEMPLO: Los ingenieros de software que trabajaban para un fabricante de piñones estaban ansiosos por implementar el nuevo modelo "innovador" que entrenaron para identificar defectos en los dientes, hasta que el supervisor de la fábrica indicó que las tasas de precisión y recuperación eran un 15% más bajas que las de los inspectores humanos.

Sesgo de selección

El sesgo de selección se produce si los ejemplos de un conjunto de datos se eligen de un modo que no refleja su distribución en el mundo real. El sesgo de selección puede tomar muchas formas diferentes:

• Sesgo de cobertura: Los datos no se seleccionan de manera representativa.

EJEMPLO: Se entrena un modelo para predecir las ventas futuras de un producto nuevo a partir de encuestas telefónicas realizadas con una muestra de consumidores que compraron el producto. En cambio, no se encuestaron a los consumidores que optaron por comprar un producto de la competencia, por lo que este grupo no estaba representado en los datos de entrenamiento.

• Sesgo de no respuesta (o sesgo de participación): Los datos no resultan representativos debido a brechas de participación en el proceso de recopilación de datos.

EJEMPLO: Se entrena un modelo para predecir las ventas futuras de un producto nuevo a partir de encuestas telefónicas realizadas con una muestra de consumidores que compraron el producto y con una muestra de consumidores que compraron un producto de la competencia. Los consumidores que compraron el producto de la competencia tenían un 80% más de probabilidades de negarse a completar la encuesta y sus datos estaban subrepresentados en la muestra.

• Sesgo muestral: No se utiliza la selección aleatoria adecuada durante la recopilación de datos.

EJEMPLO: Se entrena un modelo para predecir las ventas futuras de un producto nuevo a partir de encuestas telefónicas realizadas con una muestra de consumidores que compraron el producto y con una muestra de consumidores que compraron un producto de la competencia. En lugar de orientar anuncios al consumidor de forma aleatoria, el encuestador eligió a los primeros 200 consumidores que respondieron un correo electrónico, quienes podrían estar más entusiasmados con el producto que los compradores promedio.

Sesgo de correspondencia

El sesgo de correspondencia es una tendencia a generalizar la realidad de las personas de un grupo entero al que pertenecen. Dos manifestaciones clave de este sesgo son las siguientes:

• Sesgo endogrupal: Preferencia para los miembros de un grupo al que también perteneces o por características que también compartes.

EJEMPLO: Dos ingenieros que entrenan un modelo para filtrar currículums de desarrolladores de software están predispuestos a creer que los aspirantes que asistieron a la misma academia de informática que ellos están más calificados para el trabajo.

• Sesgo de homogeneidad de los demás: Se trata de una tendencia a estereotipar a los miembros individuales de un grupo al que no perteneces o creer que sus características son más uniformes.

EJEMPLO: Dos ingenieros que entrenan un modelo para filtrar currículums de desarrolladores de software están predispuestos a creer que los aspirantes que no asistieron a una academia de informática no cuentan con suficientes conocimientos para el trabajo.

Sesgo implícito

El sesgo implícito se produce cuando se realizan suposiciones en función de modelos mentales propios y experiencias personales que no se aplican necesariamente a un nivel más general.

EJEMPLO: Un ingeniero que entrena un modelo de reconocimiento de gestos utiliza un movimiento de cabeza como un atributo para indicar que una persona está comunicando la palabra "no". Sin embargo, en algunas regiones del mundo, el movimiento de la cabeza significa "sí".

Una forma común de sesgo implícito es el sesgo de confirmación: los creadores de modelos procesan inconscientemente los datos de formas que afirman sus hipótesis y creencias preexistentes. En algunos casos, un creador de modelos en realidad puede seguir entrenando un modelo hasta que produce un resultado que se alinea con su hipótesis original. Esto se denomina sesgo de investigación.

EJEMPLO: Un ingeniero está creando un modelo que predice la agresividad de los perros en función de distintas características (altura, peso, raza, entorno). El ingeniero tuvo un encuentro desagradable con un caniche toy cuando era niño y, desde entonces, asoció la raza con la agresión. Cuando el modelo entrenado predijo que la mayoría de los caniches toy son relativamente dóciles, el ingeniero volvió a entrenar el modelo varias veces hasta que produjo un resultado que mostraba poodle más pequeños para que fueran más violentos.

Términos clave

sesgo de automatización	sesgo de confirmación
sesgo de cobertura	sesgo de investigación
sesgo endogrupal	sesgo de correspondencia
sesgo implícito	sesgo de no respuesta
sesgo de homogeneidad de los demás	sesgo de reporte
sesgo muestral	sesgo de selección

Centro de ayuda