Glosario de aprendizaje automático: Conceptos básicos del AA

Esta página contiene los términos del glosario de ML Fundamentals. Para ver todos los términos del glosario, haz clic aquí.

A

accuracy

#fundamentals

Es la cantidad de predicciones de clasificación correctas dividida por la cantidad total de predicciones. Es decir:

$$\text{Accuracy} = \frac{\text{correct predictions}} {\text{correct predictions + incorrect predictions }}$$

Por ejemplo, un modelo que hizo 40 predicciones correctas y 10 predicciones incorrectas tendría la siguiente exactitud:

$$\text{Accuracy} = \frac{\text{40}} {\text{40 + 10}} = \text{80%}$$

La clasificación binaria proporciona nombres específicos para las diferentes categorías de predicciones correctas y predicciones incorrectas. Por lo tanto, la fórmula de exactitud para la clasificación binaria es la siguiente:

$$\text{Accuracy} = \frac{\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}$$

Donde:

• VP es la cantidad de verdaderos positivos (predicciones correctas).
• VN es la cantidad de verdaderos negativos (predicciones correctas).
• FP es la cantidad de falsos positivos (predicciones incorrectas).
• FN es la cantidad de falsos negativos (predicciones incorrectas).

Comparar y contrastar la precisión con la precisión y la recuperación.

Haz clic en el ícono de notas adicionales.

Aunque es una métrica valiosa en algunas situaciones, la exactitud es muy engañosa para otras. En particular, la exactitud suele ser una métrica deficiente para evaluar modelos de clasificación que procesan conjuntos de datos con desequilibrio de clases.

Por ejemplo, supongamos que la nieve cae solo 25 días por siglo en una ciudad subtropical determinada. Dado que los días sin nieve (la clase negativa) superan en gran medida los días con nieve (la clase positiva), el conjunto de datos de nieve de esta ciudad está desequilibrado. Imagina un modelo de clasificación binaria que se supone que predice si hay nieve o no nieve todos los días, pero que simplemente predice “ninguna nieve” todos los días. Este modelo es muy preciso, pero no tiene poder predictivo. En la siguiente tabla, se resumen los resultados de un siglo de predicciones:

Categoría	Número
VP	0
VN	36500
FP	25
FN	0

Por lo tanto, la exactitud de este modelo es la siguiente:

accuracy = (TP + TN) / (TP + TN + FP + FN)
accuracy = (0 + 36500) / (0 + 36500 + 25 + 0) = 0.9993 = 99.93%

Aunque una exactitud del 99.93% parece un porcentaje impresionante, en realidad el modelo no tiene poder predictivo.

Por lo general, la precisión y la recuperación son métricas más útiles que la exactitud para evaluar modelos entrenados con conjuntos de datos desequilibrados.

---

función de activación

#fundamentals

Función que permite que las redes neuronales aprendan relaciones no lineales (complejas) entre los atributos y la etiqueta.

Entre las funciones de activación más populares, se incluyen las siguientes:

• ReLU
• Sigmoide

Los diagramas de las funciones de activación nunca son líneas rectas únicas. Por ejemplo, el diagrama de la función de activación de ReLU consta de dos líneas rectas:

Un trazado de la función de activación sigmoidea se ve de la siguiente manera:

Haz clic en el ícono para ver un ejemplo.

En una red neuronal, las funciones de activación manipulan la suma ponderada de todas las entradas a una neurona. Para calcular una suma ponderada, la neurona suma los productos de los valores y pesos relevantes. Por ejemplo, supongamos que la entrada relevante para una neurona consta de lo siguiente:

valor de entrada	peso de entrada
2	-1,3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Supongamos que el diseñador de esta red neuronal elige la función sigmoidea como la función de activación. En ese caso, la neurona calcula el sigmoide de -2.0, que es aproximadamente 0.12. Por lo tanto, la neurona pasa 0.12 (en lugar de -2.0) a la siguiente capa de la red neuronal. En la siguiente figura, se muestra la parte relevante del proceso:

---

se cree erróneamente

#fundamentals

Es un programa o model no humano que puede resolver tareas sofisticadas. Por ejemplo, los programas o modelos que traducen textos o que identifican enfermedades a partir de imágenes radiológicas son muestras de inteligencia artificial.

De manera formal, el aprendizaje automático es un subcampo de la inteligencia artificial. Sin embargo, en los últimos años, algunas organizaciones comenzaron a usar los términos inteligencia artificial y aprendizaje automático de manera indistinta.

AUC (área bajo la curva ROC)

#fundamentals

Un número entre 0.0 y 1.0 que representa la capacidad de un modelo de clasificación binaria para separar clases positivas de clases negativas. Cuanto más cerca esté el AUC de 1.0, mejor será la capacidad del modelo para separar clases entre sí.

Por ejemplo, en la siguiente ilustración, se muestra un modelo clasificador que separa a la perfección las clases positivas (óvalos verdes) de las clases negativas (rectángulos púrpuras). Este modelo poco realista tiene un AUC de 1.0:

Por el contrario, en la siguiente ilustración, se muestran los resultados de un modelo clasificador que generó resultados aleatorios. Este modelo tiene un AUC de 0.5:

Sí, el modelo anterior tiene un AUC de 0.5, no de 0.0.

La mayoría de los modelos se encuentran entre los dos extremos. Por ejemplo, el siguiente modelo separa los positivos de los negativos de alguna manera y, por lo tanto, tiene un AUC entre 0.5 y 1.0:

El AUC ignora cualquier valor que establezcas para el umbral de clasificación. En cambio, el AUC considera todos los umbrales de clasificación posibles.

Haz clic en el ícono para obtener más información sobre la relación entre las curvas AUC y ROC.

El AUC representa el área bajo una curva ROC. Por ejemplo, la curva ROC para un modelo que separa a la perfección los positivos de los negativos se ve de la siguiente manera:

El AUC es el área de la región gris en la ilustración anterior. En este caso inusual, el área es simplemente la longitud de la región gris (1.0) multiplicada por el ancho de la región gris (1.0). Por lo tanto, el producto de 1.0 y 1.0 produce un AUC de exactamente 1.0, que es la puntuación AUC más alta posible.

Por el contrario, la curva ROC para un clasificador que no puede separar clases en absoluto es la siguiente. El área de esta región gris es 0.5.

Una curva de ROC más típica se ve aproximadamente de la siguiente manera:

Sería muy minucioso calcular el área bajo esta curva de forma manual, por lo que un programa generalmente calcula la mayoría de los valores de AUC.

---

Haz clic en el ícono para obtener una definición más formal del AUC.

El AUC es la probabilidad de que un clasificador tenga más certeza de que un ejemplo positivo elegido al azar sea realmente positivo en comparación con que un ejemplo negativo elegido al azar sea positivo.

---

B

propagación inversa

#fundamentals

Algoritmo que implementa el descenso de gradientes en redes neuronales.

El entrenamiento de una red neuronal implica muchas iteraciones del siguiente ciclo de dos pases:

1. Durante el movimiento de avance, el sistema procesa un lote de ejemplos para generar predicciones. El sistema compara cada predicción con cada valor de label. La diferencia entre la predicción y el valor de la etiqueta es la pérdida de ese ejemplo. El sistema agrega las pérdidas de todos los ejemplos para calcular la pérdida total del lote actual.
2. Durante el retroceso (propagación inversa), el sistema ajusta los pesos de todas las neuronas en todas las capas ocultas para reducir la pérdida.

Las redes neuronales a menudo contienen muchas neuronas en muchas capas ocultas. Cada una de esas neuronas contribuye a la pérdida general de diferentes maneras. La propagación inversa determina si se deben aumentar o disminuir los pesos aplicados a neuronas específicas.

La tasa de aprendizaje es un multiplicador que controla el grado en el que cada avance aumenta o disminuye cada ponderación. Una tasa de aprendizaje grande aumentará o disminuirá cada peso más que una tasa de aprendizaje pequeña.

En términos de cálculo, la propagación inversa implementa la regla de la cadena del cálculo. Es decir, la propagación inversa calcula la derivada parcial del error con respecto a cada parámetro.

Hace años, los profesionales del AA tenían que escribir código para implementar la propagación inversa. Las APIs de AA modernas como TensorFlow ahora implementan la propagación inversa por ti. ¡Vaya!

lote

#fundamentals

El conjunto de ejemplos que se usa en una iteración de entrenamiento. El tamaño del lote determina la cantidad de ejemplos de un lote.

Consulta el ciclo de entrenamiento para obtener una explicación de cómo se relaciona un lote con un ciclo de entrenamiento.

tamaño del lote

#fundamentals

La cantidad de ejemplos en un lote. Por ejemplo, si el tamaño del lote es de 100, el modelo procesa 100 ejemplos por iteración.

Las siguientes son estrategias populares de tamaño de lotes:

• Descenso de gradientes estocástico (SGD), en el que el tamaño del lote es 1.
• Lote completo, en el que el tamaño del lote es la cantidad de ejemplos del conjunto de entrenamiento completo. Por ejemplo, si el conjunto de entrenamiento contiene un millón de ejemplos, el tamaño del lote sería de un millón de ejemplos. Por lo general, los lotes completos son una estrategia ineficiente.
• minilote en el que el tamaño del lote suele ser entre 10 y 1,000. Los minilotes suelen ser la estrategia más eficiente.

sesgo (ética/equidad)

#fairness

#fundamentals

1. Estereotipo, prejuicio o preferencia de objetos, personas o grupos por sobre otros. Estos sesgos pueden afectar la recopilación y la interpretación de los datos, el diseño de un sistema y la forma en que los usuarios interactúan con él. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de automatización
• sesgo de confirmación
• sesgo del investigador
• sesgo de correspondencia
• sesgo implícito
• sesgo endogrupal
• sesgo de homogeneidad de los demás

2. Error sistemático debido a un procedimiento de muestreo o de elaboración de informes. Entre las formas de este tipo de sesgo se incluyen las siguientes:

• sesgo de cobertura
• sesgo de no respuesta
• sesgo de participación
• sesgo de reporte
• sesgo muestral
• sesgo de selección

No se debe confundir con el término de sesgo en los modelos de aprendizaje automático o con el sesgo de predicción.

término de sesgo (matemática) o sesgo

#fundamentals

Una intercepción o desplazamiento desde un origen. El sesgo es un parámetro en los modelos de aprendizaje automático, que se simboliza mediante una de las siguientes opciones:

• b
• s₀

Por ejemplo, la ordenada al origen es la b en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En una línea bidimensional simple, sesgo simplemente significa “intersección en y”. Por ejemplo, el sesgo de la línea en la siguiente ilustración es 2.

El sesgo existe porque no todos los modelos comienzan en el origen (0,0). Por ejemplo, supongamos que la entrada a un parque de atracciones cuesta 2 euros y 0.5 euros adicionales por cada hora de estadía de un cliente. Por lo tanto, un modelo que asigna el costo total tiene un sesgo de 2 porque el costo más bajo es de 2 euros.

No se debe confundir el sesgo con el sesgo en la ética y la equidad ni con el sesgo de predicción.

clasificación binaria

#fundamentals

Un tipo de tarea de clasificación que predice una de dos clases mutuamente excluyentes:

• la clase positiva
• la clase negativa

Por ejemplo, los siguientes dos modelos de aprendizaje automático realizan cada una clasificación binaria:

• Modelo que determina si los mensajes de correo electrónico son spam (la clase positiva) o no spam (la clase negativa).
• Modelo que evalúa los síntomas médicos para determinar si una persona tiene una enfermedad en particular (la clase positiva) o no (la clase negativa).

Compara esto con la clasificación de clases múltiples.

Consulta también la regresión logística y el umbral de clasificación.

agrupamiento

#fundamentals

Convertir un solo atributo en varios atributos binarios llamados buckets o contenedores, por lo general, se basa en un rango de valores. Por lo general, el atributo cortado es un atributo continuo.

Por ejemplo, en lugar de representar la temperatura como una sola función continua de punto flotante, podrías dividir los rangos de temperatura en buckets discretos, como los siguientes:

• <= 10 grados Celsius sería el bucket "frío".
• Si la temperatura es de 11 a 24 grados Celsius, el intervalo "temperado" se establecería.
• >= 25 grados Celsius sería el bucket "cálido".

El modelo tratará todos los valores del mismo bucket de manera idéntica. Por ejemplo, los valores 13 y 22 están en el bucket templado, por lo que el modelo trata los dos valores de manera idéntica.

Haz clic en el ícono de notas adicionales.

Si representas la temperatura como un atributo continuo, el modelo la trata como un solo atributo. Si representas la temperatura como tres buckets, el modelo trata cada uno como un atributo independiente. Es decir, un modelo puede aprender relaciones independientes de cada bucket para la etiqueta. Por ejemplo, un modelo de regresión lineal puede aprender pesos independientes para cada bucket.

Aumentar la cantidad de buckets hace que tu modelo sea más complicado, ya que aumenta la cantidad de relaciones que tu modelo debe aprender. Por ejemplo, los buckets fríos, templados y calientes son tres características distintas con las que tu modelo debe entrenarse. Si decides agregar dos buckets más, por ejemplo, con congelamiento y en caliente, tu modelo ahora tendrá que entrenar en cinco atributos distintos.

¿Cómo sabes cuántos buckets crear o cuáles deberían ser los rangos para cada bucket? Por lo general, las respuestas requieren mucha experimentación.

---

C

datos categóricos

#fundamentals

Atributos que tienen un conjunto específico de valores posibles. Por ejemplo, considera un atributo categórico llamado traffic-light-state, que solo puede tener uno de los siguientes tres valores posibles:

• red
• yellow
• green

Cuando se representa traffic-light-state como un atributo categórico, un modelo puede aprender los diferentes impactos de red, green y yellow en el comportamiento del controlador.

A veces, los atributos categóricos se denominan atributos discretos.

Compara esto con los datos numéricos.

clase

#fundamentals

Es una categoría a la que puede pertenecer una etiqueta. Por ejemplo:

• En un modelo de clasificación binaria que detecta spam, las dos clases pueden ser spam y no spam.
• En un modelo de clasificación de clases múltiples que identifica razas de perros, las clases pueden ser poodle, beagle, pug, etcétera.

Un modelo de clasificación predice una clase. Por el contrario, un modelo de regresión predice un número en lugar de una clase.

modelo de clasificación

#fundamentals

model cuya predicción es una model. Por ejemplo, los siguientes son todos modelos de clasificación:

• Un modelo que predice el idioma de una oración de entrada (¿francés? ¿Español? italiano).
• Un modelo que predice especies de árboles (¿Maple? Oak? ¿Baobab?).
• Modelo que predice la clase positiva o negativa de una enfermedad en particular.

Por el contrario, los modelos de regresión predicen números en lugar de clases.

Los siguientes son dos tipos comunes de modelos de clasificación:

• clasificación binaria
• clasificación de clases múltiples

umbral de clasificación

#fundamentals

En una clasificación binaria, un número entre 0 y 1 que convierte el resultado sin procesar de un modelo de regresión logística en una predicción de la clase positiva o la clase negativa. Ten en cuenta que el umbral de clasificación es un valor que elige una persona, no un valor elegido por el entrenamiento de modelos.

Un modelo de regresión logística da como resultado un valor sin procesar entre 0 y 1. Luego, haz lo siguiente:

• Si este valor sin procesar es mayor que el umbral de clasificación, se predice la clase positiva.
• Si este valor sin procesar es menor que el umbral de clasificación, se predice la clase negativa.

Por ejemplo, supongamos que el umbral de clasificación es 0.8. Si el valor sin procesar es 0.9, el modelo predice la clase positiva. Si el valor sin procesar es 0.7, el modelo predice la clase negativa.

La elección del umbral de clasificación influye en gran medida en la cantidad de falsos positivos y falsos negativos.

Haz clic en el ícono de notas adicionales.

A medida que los modelos o los conjuntos de datos evolucionan, a veces los ingenieros también cambian el umbral de clasificación. Cuando cambia el umbral de clasificación, las predicciones de clase positivas pueden convertirse repentinamente en clases negativas, y viceversa.

Por ejemplo, considera un modelo de predicción de enfermedades de clasificación binaria. Supongamos que, cuando el sistema se ejecuta en el primer año, sucede lo siguiente:

• El valor sin procesar para un paciente en particular es de 0.95.
• El umbral de clasificación es 0.94.

Por lo tanto, el sistema diagnostica la clase positiva. (El paciente jadea: "¡Oh, no! Estoy enfermo").

Un año después, es posible que los valores ahora tengan el siguiente aspecto:

• El valor sin procesar para el mismo paciente permanece en 0.95.
• El umbral de clasificación cambia a 0.97.

Por lo tanto, el sistema ahora reclasifica a ese paciente como la clase negativa. ("¡Feliz día! No estoy enfermo"). Mismo paciente. Diagnóstico diferente.

---

conjunto de datos con desequilibrio de clases

#fundamentals

Conjunto de datos para un problema de clasificación en el que la cantidad total de etiquetas de cada clase difiere de forma significativa. Por ejemplo, considera un conjunto de datos de clasificación binaria cuyas dos etiquetas se dividen de la siguiente manera:

• 1,000,000 de etiquetas negativas
• 10 etiquetas positivas

La proporción entre etiquetas negativas y positivas es de 100,000 a 1, por lo que este es un conjunto de datos desequilibrados.

Por el contrario, el siguiente conjunto de datos no tiene desequilibrio de clases porque la proporción de etiquetas negativas a positivas es relativamente cercana a 1:

• 517 etiquetas negativas
• 483 etiquetas positivas

Los conjuntos de datos de varias clases también pueden estar desequilibrados. Por ejemplo, el siguiente conjunto de datos de clasificación de clases múltiples también está desequilibrado porque una etiqueta tiene muchos más ejemplos que las otras dos:

• 1,000,000 de etiquetas con la clase “green”
• 200 etiquetas con la clase “púrpura”
• 350 etiquetas con la clase “naranja”

Consulta también entropía, clase de mayoría y clase minoritaria.

recorte

#fundamentals

Una técnica para controlar los valores atípicos mediante una de las siguientes acciones o ambos:

• Reducir los valores de feature que sean mayores que el umbral máximo hasta alcanzarlo
• Aumentar valores de atributos que sean inferiores a un umbral mínimo hasta alcanzar ese umbral mínimo

Por ejemplo, supongamos que menos del 0.5% de los valores de un atributo en particular están fuera del rango de 40 a 60. En ese caso, podrías hacer lo siguiente:

• Recorta todos los valores superiores a 60 (el umbral máximo) para que sean exactamente 60.
• Recorta todos los valores por debajo de 40 (el umbral mínimo) para que sean exactamente 40.

Los valores atípicos pueden dañar los modelos y, a veces, causar que los pesos desbordan durante el entrenamiento. Algunos valores atípicos también pueden arruinar drásticamente métricas como la exactitud. El recorte es una técnica común para limitar el daño.

El recorte de gradientes fuerza los valores de gradiente dentro de un rango designado durante el entrenamiento.

matriz de confusión

#fundamentals

Tabla de nxN que resume la cantidad de predicciones correctas e incorrectas que realizó un modelo de clasificación. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación binaria:

	Es tumor (predicho)	No es tumor (predicho)
Tumor (verdad fundamental)	18 (VP)	1 (FN)
No es tumor (verdad fundamental)	6 (FP)	452 (VN)

En la matriz de confusión anterior, se muestra lo siguiente:

• De las 19 predicciones en las que la verdad fundamental fue tumor, el modelo clasificó correctamente 18 y 1, de manera incorrecta.
• De las 458 predicciones en las que la verdad fundamental fue No tumor, el modelo clasificó correctamente 452 y clasificó 6 de manera incorrecta.

La matriz de confusión para un problema de clasificación de clases múltiples puede ayudarte a identificar patrones de errores. Por ejemplo, considera la siguiente matriz de confusión para un modelo de clasificación de clases múltiples de 3 clases que categoriza tres tipos de iris diferentes (Virginica, Versicolor y Setosa). Cuando la verdad fundamental era Virginica, la matriz de confusión muestra que era mucho más probable que el modelo predijera Versicolor de manera errónea que Setosa:

	Setosa (predicción)	Versicolor (predicho)	Vírgenes (previstas)
Setosa (verdad fundamental)	88	12	0
Versicolor (verdad fundamental)	6	141	7
virgen (verdad fundamental)	2	27	109

Como otro ejemplo, una matriz de confusión podría revelar que un modelo entrenado para reconocer dígitos escritos a mano tiende a predecir de manera errónea 9 en lugar de 4, o a predecir 1 en lugar de 7 de manera errónea.

Las matrices de confusión contienen suficiente información para calcular una variedad de métricas de rendimiento, incluidas la precisión y la recuperación.

atributo continuo

#fundamentals

Un atributo de punto flotante con un rango infinito de valores posibles, como la temperatura o el peso.

Compara esto con el atributo discreto.

convergencia

#fundamentals

Es un estado que se alcanza cuando los valores de loss cambian muy poco o nada con cada iteración. Por ejemplo, la siguiente curva de pérdida sugiere una convergencia en alrededor de 700 iteraciones:

Un modelo convierte cuando un entrenamiento adicional no mejorará el modelo.

En el aprendizaje profundo, a veces, los valores de pérdida se mantienen constantes o casi durante muchas iteraciones antes de descender finalmente. Durante un período largo de valores de pérdida constante, es posible que obtengas temporalmente una falsa sensación de convergencia.

Consulta también interrupción anticipada.

D

DataFrame

#fundamentals

Tipo de datos de pandas popular para representar conjuntos de datos en la memoria.

Un DataFrame es similar a una tabla o una hoja de cálculo. Cada columna de un DataFrame tiene un nombre (un encabezado) y cada fila se identifica con un número único.

Cada columna en un DataFrame se estructura como un arreglo 2D, excepto que a cada columna se le puede asignar su propio tipo de datos.

Consulta también la página de referencia oficial de pandas.DataFrame.

conjunto de datos o conjunto de datos

#fundamentals

Es una colección de datos sin procesar, organizados de manera habitual (pero no exclusiva) en uno de los siguientes formatos:

• una hoja de cálculo
• un archivo en formato CSV (valores separados por coma)

modelo profundo

#fundamentals

Red neuronal que contiene más de una capa oculta

Un modelo profundo también se denomina red neuronal profunda.

Compara esto con el modelo amplio.

atributo denso

#fundamentals

Atributo en el que la mayoría o todos los valores no son cero, generalmente un tensor de valores de punto flotante. Por ejemplo, el siguiente Tensor de 10 elementos es denso porque 9 de sus valores no son cero:

8

3

7

5

2

4

0

4

9

6

Compara esto con el atributo disperso.

depth

#fundamentals

Es la suma de los siguientes elementos en una red neuronal:

• la cantidad de capas ocultas
• la cantidad de capas de salida, que suele ser de 1
• la cantidad de capas de incorporación

Por ejemplo, una red neuronal con cinco capas ocultas y una capa de salida tiene una profundidad de 6.

Ten en cuenta que la capa de entrada no influye en la profundidad.

atributo discreto

#fundamentals

Es un atributo con un conjunto finito de valores posibles. Por ejemplo, un atributo cuyos valores solo pueden ser animal, vegetal o mineral es un atributo discreto (o categórico).

Compara esto con el atributo continuo.

dinámico

#fundamentals

Algo que se hace con frecuencia o continuamente. Los términos dinámico y en línea son sinónimos en el aprendizaje automático. Los siguientes son usos comunes de las funciones dinámicas y en línea en el aprendizaje automático:

• Un modelo dinámico (o modelo en línea) es un modelo que se vuelve a entrenar con frecuencia o continuamente.
• El entrenamiento dinámico (o entrenamiento en línea) es el proceso de entrenamiento frecuente o continua.
• La inferencia dinámica (o inferencia en línea) es el proceso de generar predicciones a pedido.

modelo dinámico

#fundamentals

Un model que se vuelve a entrenar con frecuencia (incluso de manera continua) Un modelo dinámico es un modelo que aprende toda la vida y se adapta constantemente a los datos que evolucionan. Un modelo dinámico también se conoce como modelo en línea.

Compara esto con el modelo estático.

E

interrupción anticipada

#fundamentals

Método de regularización que implica finalizar el entrenamiento antes de que la pérdida de entrenamiento termine de disminuir. En la interrupción anticipada, dejas de entrenar el modelo de manera intencional cuando la pérdida en un conjunto de datos de validación comienza a aumentar, es decir, cuando empeora el rendimiento de la generalización.

Haz clic en el ícono de notas adicionales.

La interrupción anticipada puede parecer contradictoria. Después de todo, decirle a un modelo que detenga el entrenamiento mientras la pérdida continúa disminuyendo puede parecer como decirle a un chef que deje de cocinar antes de que el postre se hornee por completo. Sin embargo, entrenar un modelo durante demasiado tiempo puede generar un sobreajuste. Es decir, si entrenas un modelo por demasiado tiempo, es posible que se ajuste a los datos de entrenamiento tan cerca que no pueda realizar predicciones correctas con ejemplos nuevos.

---

capa de Embedding

#language

#fundamentals

Una capa oculta especial que se entrena en un atributo categórico de alta dimensión para aprender gradualmente un vector de incorporación de menor dimensión. Una capa de incorporación permite que una red neuronal se entrene de manera mucho más eficiente que entrenar solo con el atributo categórico de alta dimensión.

Por ejemplo, la Tierra actualmente admite cerca de 73,000 especies de árboles. Supongamos que las especies de árbol son un atributo en tu modelo, por lo que la capa de entrada del modelo incluye un vector one-hot de 73,000 elementos de longitud. Por ejemplo, quizás baobab se represente de la siguiente manera:

Un array de 73,000 elementos es muy largo. Si no agregas una capa de incorporación al modelo, el entrenamiento requerirá mucho tiempo debido a la multiplicación de 72,999 ceros. Quizás elijas que la capa de incorporación tenga 12 dimensiones. En consecuencia, la capa de incorporación aprenderá de forma gradual un nuevo vector de incorporación para cada especie de árbol.

En algunas situaciones, la codificación hash es una alternativa razonable a una capa de incorporación.

época

#fundamentals

Un pase de entrenamiento completo por todo el conjunto de entrenamiento, de modo que cada ejemplo se procese una vez.

Un ciclo de entrenamiento representa las iteraciones de entrenamiento N/tamaño del lote, en el que N es la cantidad total de ejemplos.

Por ejemplo, supongamos lo siguiente:

• El conjunto de datos consta de 1,000 ejemplos.
• El tamaño del lote es de 50 ejemplos.

Por lo tanto, un solo ciclo de entrenamiento requiere 20 iteraciones:

1 epoch = (N/batch size) = (1,000 / 50) = 20 iterations

Ejemplo

#fundamentals

Los valores de una fila de atributos y, posiblemente, una etiqueta. Los ejemplos del aprendizaje supervisado se dividen en dos categorías generales:

• Un ejemplo etiquetado consta de uno o más atributos y una etiqueta. Los ejemplos etiquetados se usan durante el entrenamiento.
• Un ejemplo sin etiqueta consta de uno o más atributos, pero ninguna etiqueta. Los ejemplos sin etiqueta se usan durante la inferencia.

Por ejemplo, supongamos que estás entrenando un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. Aquí hay tres ejemplos etiquetados:

Funciones			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	Bueno
19	34	1020	Excelente
18	92	1012	Deficiente

Estos son tres ejemplos sin etiqueta:

Temperatura	Humedad	Presionar
12	62	1014
21	47	1017
19	41	1021

La fila de un conjunto de datos suele ser la fuente sin procesar para un ejemplo. Es decir, un ejemplo generalmente consta de un subconjunto de las columnas en el conjunto de datos. Además, los atributos de un ejemplo también pueden incluir atributos sintéticos, como las combinaciones de atributos.

F

falso negativo (FN)

#fundamentals

Ejemplo en el que el modelo predice de forma errónea la clase negativa. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular no es spam (la clase negativa), pero ese mensaje de correo electrónico sí es spam.

falso positivo (FP)

#fundamentals

Ejemplo en el que el modelo predice la clase positiva de forma errónea. Por ejemplo, el modelo predice que un mensaje de correo electrónico en particular es spam (la clase positiva), pero ese mensaje de correo electrónico en realidad no es spam.

tasa de falsos positivos (FPR)

#fundamentals

Es la proporción de ejemplos negativos reales para los que el modelo predijo de manera errónea la clase positiva. La siguiente fórmula calcula la tasa de falsos positivos:

$$\text{false positive rate} = \frac{\text{false positives}}{\text{false positives} + \text{true negatives}}$$

La tasa de falsos positivos es el eje x en una curva ROC.

característica

#fundamentals

Una variable de entrada para un modelo de aprendizaje automático. Un ejemplo consta de uno o más atributos. Por ejemplo, supongamos que estás entrenando un modelo para determinar la influencia de las condiciones climáticas en las calificaciones de los estudiantes. En la siguiente tabla, se muestran tres ejemplos, cada uno de los cuales contiene tres atributos y una etiqueta:

Funciones			Etiqueta
Temperatura	Humedad	Presionar	Puntuación de la prueba
15	47	998	92
19	34	1020	84
18	92	1012	87

Compara esto con la etiqueta.

combinación de atributos

#fundamentals

Un atributo sintético formado mediante la “combinación” de atributos categóricos o agrupados.

Por ejemplo, considera un modelo de “previsión del estado de ánimo” que represente la temperatura en uno de los siguientes cuatro buckets:

• freezing
• chilly
• temperate
• warm

Y representa la velocidad del viento en uno de estos tres buckets:

• still
• light
• windy

Sin combinaciones de atributos, el modelo lineal se entrena de forma independiente en cada uno de los siete buckets anteriores. Por ejemplo, el modelo se entrena con freezing, independientemente del entrenamiento en windy.

Como alternativa, puedes crear una combinación de atributos de temperatura y velocidad del viento. Este atributo sintético tendría los siguientes 12 valores posibles:

• freezing-still
• freezing-light
• freezing-windy
• chilly-still
• chilly-light
• chilly-windy
• temperate-still
• temperate-light
• temperate-windy
• warm-still
• warm-light
• warm-windy

Gracias a las combinaciones de atributos, el modelo puede aprender diferencias de estados de ánimo entre un día de freezing-windy y un día de freezing-still.

Si creas un atributo sintético a partir de dos atributos que tienen muchos buckets diferentes, la combinación de atributos resultante tendrá una gran cantidad de combinaciones posibles. Por ejemplo, si un atributo tiene 1,000 buckets y el otro atributo tiene 2,000 buckets, la combinación de atributos resultante tiene 2,000,000 de buckets.

De manera formal, una cruz es un producto cartesiano.

Las combinaciones de atributos se usan, principalmente, con modelos lineales y rara vez con redes neuronales.

ingeniería de atributos.

#fundamentals

#TensorFlow

Un proceso que implica los siguientes pasos:

1. Determinar qué atributos podrían ser útiles para entrenar un modelo
2. Convertir los datos sin procesar del conjunto de datos en versiones eficientes de esos atributos.

Por ejemplo, podrías determinar que temperature podría ser una función útil. Luego, puedes experimentar con el agrupamiento para optimizar lo que el modelo puede aprender de los diferentes rangos temperature.

En ocasiones, la ingeniería de atributos se denomina extracción de atributos o incorporación.

Haz clic en el ícono para obtener notas adicionales sobre TensorFlow.

En TensorFlow, la ingeniería de atributos suele implicar la conversión de entradas de archivos de registro sin procesar en búferes de protocolo tf.Example. Consulta también tf.Transform.

---

conjunto de atributos

#fundamentals

Grupo de atributos con el que se entrena el modelo de aprendizaje automático. Por ejemplo, código postal, tamaño de la propiedad y estado de la propiedad pueden conformar un conjunto de atributos simples para un modelo que predice los precios de la vivienda.

vector de atributos

#fundamentals

El array de valores de atributo que comprende un ejemplo. El vector de atributos se ingresa durante el entrenamiento y durante la inferencia. Por ejemplo, el vector de atributos para un modelo con dos atributos discretos podría ser el siguiente:

[0.92, 0.56]

Cada ejemplo proporciona valores diferentes para el vector de atributos, de manera que el vector de atributos del siguiente ejemplo podría ser similar al siguiente:

[0.73, 0.49]

La ingeniería de atributos determina cómo representar atributos en el vector de atributos. Por ejemplo, un atributo categórico binario con cinco valores posibles podría representarse con la codificación one-hot. En este caso, la parte del vector de atributos de un ejemplo en particular constaría de cuatro ceros y un solo 1.0 en la tercera posición, de la siguiente manera:

[0.0, 0.0, 1.0, 0.0, 0.0]

Como otro ejemplo, supongamos que tu modelo consta de tres atributos:

• un atributo categórico binario con cinco valores posibles representados con codificación one-hot; por ejemplo: [0.0, 1.0, 0.0, 0.0, 0.0]
• Otro atributo categórico binario con tres valores posibles representados con codificación one-hot; por ejemplo: [0.0, 0.0, 1.0]
• un atributo de punto flotante; por ejemplo: 8.3

En este caso, el vector de atributos de cada ejemplo estaría representado por nueve valores. Dados los valores de ejemplo de la lista anterior, el vector de atributos sería el siguiente:

0.0
1.0
0.0
0.0
0.0
0.0
0.0
1.0
8.3

ciclo de retroalimentación

#fundamentals

En el aprendizaje automático, una situación en la que las predicciones de un modelo influyen en los datos de entrenamiento para el mismo modelo o para otro Por ejemplo, un modelo que recomienda películas influirá en las películas que las personas ven, lo que luego influirá en los modelos posteriores de recomendación de películas.

G

generalización

#fundamentals

La capacidad de un modelo para realizar predicciones correctas sobre datos nuevos nunca antes vistos. Un modelo que puede generalizarse es lo opuesto a un modelo que está sobreajustado.

Haz clic en el ícono de notas adicionales.

Entrenas un modelo con los ejemplos del conjunto de entrenamiento. En consecuencia, el modelo aprende las peculiaridades de los datos en el conjunto de entrenamiento. En esencia, la generalización pregunta si tu modelo puede hacer buenas predicciones con ejemplos que no están en el conjunto de entrenamiento.

Para fomentar la generalización, la regularización ayuda a que un modelo se entrene con menos exactitud según las peculiaridades de los datos en el conjunto de entrenamiento.

---

curva de generalización

#fundamentals

Un gráfico de la pérdida de entrenamiento y la pérdida de validación como una función de la cantidad de iteraciones.

Una curva de generalización puede ayudarte a detectar un posible sobreajuste. Por ejemplo, la siguiente curva de generalización sugiere un sobreajuste porque la pérdida de validación se vuelve mucho mayor que la pérdida de entrenamiento.

descenso de gradientes

#fundamentals

Técnica matemática para minimizar la pérdida. El descenso de gradientes ajusta de forma iterativa los pesos y los sesgos, y encuentra gradualmente la mejor combinación para minimizar la pérdida.

El descenso de gradientes es mucho más antiguo que el aprendizaje automático.

Verdad fundamental

#fundamentals

Realidad.

Lo que sucedió en realidad.

Por ejemplo, considera un modelo de clasificación binaria que prediga si un estudiante de su primer año de universidad se graduará en un plazo de seis años. La verdad fundamental de este modelo es si el estudiante se graduó en seis años o no.

Haz clic en el ícono de notas adicionales.

Evaluamos la calidad del modelo en función de la verdad fundamental. Sin embargo, la verdad fundamental no siempre es totalmente veraz. Por ejemplo, considera los siguientes ejemplos de posibles imperfecciones en la verdad fundamental:

• En el ejemplo de graduación, ¿estamos seguros de que los registros de graduación de cada estudiante siempre sean correctos? ¿Los registros de la universidad son impecables?
• Supongamos que la etiqueta es un valor de punto flotante medido por instrumentos (por ejemplo, barómetros). ¿Cómo podemos asegurarnos de que cada instrumento se calibró de forma idéntica o de que cada medición se realizó en las mismas circunstancias?
• Si la etiqueta es una cuestión de opinión humana, ¿cómo podemos estar seguros de que cada evaluador humano evalúa los eventos de la misma manera? A veces intervienen evaluadores humanos expertos para mejorar la coherencia.

---

H

capa oculta

#fundamentals

Es una capa en una red neuronal entre la capa de entrada (los atributos) y la capa de salida (la predicción). Cada capa oculta consta de una o más neuronas. Por ejemplo, la siguiente red neuronal contiene dos capas ocultas, la primera con tres neuronas y la segunda con dos neuronas:

Una red neuronal profunda contiene más de una capa oculta. Por ejemplo, la ilustración anterior es una red neuronal profunda porque el modelo contiene dos capas ocultas.

hiperparámetro

#fundamentals

Las variables que tú o un servicio de ajuste de hiperparámetrosajustan durante ejecuciones sucesivas de entrenamiento de un modelo. Por ejemplo, la tasa de aprendizaje es un hiperparámetro. Puedes establecer la tasa de aprendizaje en 0.01 antes de una sesión de entrenamiento. Si determinas que 0.01 es demasiado alto, podrías establecer la tasa de aprendizaje en 0.003 para la siguiente sesión de entrenamiento.

Por el contrario, los parámetros son los diversos ponderaciones y sesgos que el modelo aprende durante el entrenamiento.

I

independiente e idénticamente distribuido (i.i.d)

#fundamentals

Datos extraídos de una distribución que no cambia y en los que cada valor obtenido no depende de valores que se obtuvieron anteriormente. Un i.i.d. es el gas ideal del aprendizaje automático; una construcción matemática útil, pero casi nunca se encuentra exactamente en el mundo real. Por ejemplo, la distribución de los visitantes de una página web puede realizarse por i.i.d. en un período breve, es decir, la distribución no cambia durante ese período breve y la visita de una persona suele ser independiente de la visita de otra. Sin embargo, si amplías esa ventana de tiempo, pueden aparecer diferencias estacionales en los visitantes de la página web.

Consulta también la información sobre no estacionariedad.

inferencia

#fundamentals

En el aprendizaje automático, el proceso de hacer predicciones mediante la aplicación de un modelo entrenado a ejemplos sin etiqueta.

Inferencia tiene un significado algo diferente en estadística. Consulta el artículo de Wikipedia sobre inferencia estadística para obtener más detalles.

capa de entrada

#fundamentals

La capa de una red neuronal que contiene el vector de atributos. Es decir, la capa de entrada proporciona ejemplos de entrenamiento o inferencia. Por ejemplo, la capa de entrada en la siguiente red neuronal consta de dos características:

interpretabilidad

#fundamentals

La capacidad de explicar o presentar el razonamiento de un modelo de AA en términos comprensibles para un ser humano.

La mayoría de los modelos de regresión lineal, por ejemplo, son muy interpretables. (Solo tienes que ver las ponderaciones entrenadas para cada atributo). Los bosques de decisión también son muy interpretables. Sin embargo, algunos modelos requieren una visualización sofisticada para convertirse en interpretables.

Puedes usar la Herramienta de interpretabilidad de aprendizaje (LIT) para interpretar modelos de AA.

iteración

#fundamentals

Una sola actualización de los parámetros de un modelo (los pesos y los sesgos del modelo) durante el entrenamiento. El tamaño del lote determina cuántos ejemplos procesa el modelo en una sola iteración. Por ejemplo, si el tamaño del lote es de 20, el modelo procesa 20 ejemplos antes de ajustar los parámetros.

Cuando se entrena una red neuronal, una sola iteración involucra los siguientes dos pases:

1. Un pase hacia delante para evaluar la pérdida en un solo lote.
2. Un pase hacia atrás (propagación inversa) para ajustar los parámetros del modelo en función de la pérdida y la tasa de aprendizaje

L

regularización L₀

#fundamentals

Es un tipo de regularización que penaliza el número total de pesos distintos de cero en un modelo. Por ejemplo, un modelo que tiene 11 pesos distintos de cero sería penalizado más que un modelo similar que tenga 10 pesos distintos de cero.

A veces, la regularización L₀ se denomina regularización de la norma L0.

Haz clic en el ícono de notas adicionales.

La regularización L₀ no suele ser práctica en modelos grandes, ya que la regularización L₀ convierte el entrenamiento en un problema de optimización convexa.

---

pérdida L₁

#fundamentals

Una función de pérdida que calcula el valor absoluto de la diferencia entre los valores reales de la etiqueta y los que predice un modelo. Por ejemplo, aquí puedes ver el cálculo de la pérdida L₁ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor predicho del modelo	Valor absoluto de delta
7	6	1
5	4	1
8	11	3
4	6	2
9	8	1
		8 = Pérdida L1

La pérdida L₁ es menos sensible a los valores atípicos que la pérdida L₂.

El error absoluto medio es la pérdida L₁ promedio por ejemplo.

Haz clic en el ícono para ver los cálculos formales.

$$ L_1 loss = \sum_{i=0}^n | y_i - \hat{y}_i |$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que el modelo predice para $y$.

---

regularización L₁

#fundamentals

Es un tipo de regularización que penaliza los pesos en proporción a la suma del valor absoluto de los pesos. La regularización L₁ ayuda a llevar las ponderaciones de los atributos irrelevantes o poco relevantes a exactamente 0. Un atributo con un peso de 0 se quita de forma eficaz del modelo.

Compara esto con la regularización L₂.

pérdida L₂

#fundamentals

Una función de pérdida que calcula el cuadrado de la diferencia entre los valores reales de la etiqueta y los valores que predice un modelo. Por ejemplo, aquí puedes ver el cálculo de la pérdida L₂ para un lote de cinco ejemplos:

Valor real del ejemplo	Valor predicho del modelo	Cuadrado del delta
7	6	1
5	4	1
8	11	9
4	6	4
9	8	1
		16 = Pérdida L2

Debido al cuadrado, la pérdida de L₂ amplifica la influencia de los valores atípicos. Es decir, la pérdida L₂ reacciona con mayor fuerza a las predicciones erróneas que la pérdida L₁. Por ejemplo, la pérdida L₁ para el lote anterior sería 8 en lugar de 16. Observa que un solo valor atípico representa 9 de los 16.

En los modelos de regresión, por lo general, se usa la pérdida L₂ como la función de pérdida.

El error cuadrático medio es la pérdida L₂ promedio por ejemplo. Pérdida cuadrada es otro nombre para la pérdida L₂.

Haz clic en el ícono para ver los cálculos formales.

$$ L_2 loss = \sum_{i=0}^n {(y_i - \hat{y}_i)}^2$$

En el ejemplo anterior, se ilustra lo siguiente:

• $n$ es la cantidad de ejemplos.
• $y$ es el valor real de la etiqueta.
• $\hat{y}$ es el valor que el modelo predice para $y$.

---

regularización L₂

#fundamentals

Es un tipo de regularización que penaliza los pesos en proporción a la suma de los cuadrados de los pesos. La regularización L₂ ayuda a llevar los pesos atípicos (aquellos con valores negativos bajos o positivos altos) más cerca del 0, pero no exactamente a 0. Los atributos con valores muy cercanos a 0 permanecen en el modelo, pero no influyen mucho en su predicción.

La regularización L₂ siempre mejora la generalización en los modelos lineales.

Compara esto con la regularización L₁.

etiqueta de recurso

#fundamentals

En el aprendizaje automático supervisado, la parte "respuesta" o "resultado" de un ejemplo.

Cada ejemplo etiquetado consta de uno o más atributos y una etiqueta. Por ejemplo, en un conjunto de datos de detección de spam, la etiqueta probablemente sería "es spam" o "no es spam". En un conjunto de datos de precipitaciones, la etiqueta podría ser la cantidad de lluvia que cayó durante un período determinado.

ejemplo etiquetado

#fundamentals

Ejemplo que contiene uno o más atributos y una etiqueta. Por ejemplo, en la siguiente tabla, se muestran tres ejemplos etiquetados de un modelo de valoración de casas, cada uno con tres atributos y una etiqueta:

Cantidad de dormitorios	Cantidad de baños	Antigüedad	Precio de la casa (etiqueta)
3	2	15	USD 345,000
2	1	72	USD 179,000
4	2	34	USD 392,000

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones en ejemplos sin etiqueta.

Compara los ejemplos etiquetados con los sin etiquetas.

lambda

#fundamentals

Sinónimo de tasa de regularización.

Lambda es un término sobrecargado. Aquí nos enfocaremos en la definición del término dentro de la regularización.

oculta

#fundamentals

Es un conjunto de neuronas en una red neuronal. A continuación, se indican tres tipos comunes de capas:

• La capa de entrada, que proporciona valores para todos los atributos.
• Una o más capas ocultas, que encuentran relaciones no lineales entre los atributos y la etiqueta.
• La capa de salida, que proporciona la predicción.

Por ejemplo, en la siguiente ilustración, se muestra una red neuronal con una capa de entrada, dos capas ocultas y una capa de salida:

En TensorFlow, las capas también son funciones de Python que toman tensores y opciones de configuración como entrada y producen otros tensores como salida.

tasa de aprendizaje

#fundamentals

Es un número de punto flotante que le indica al algoritmo de descenso de gradientes la intensidad con la que debe ajustar las ponderaciones y los sesgos en cada iteración. Por ejemplo, una tasa de aprendizaje de 0.3 ajustaría las ponderaciones y los sesgos tres veces más que una tasa de aprendizaje de 0.1.

La tasa de aprendizaje es un hiperparámetro clave. Si estableces la tasa de aprendizaje demasiado baja, el entrenamiento tardará demasiado. Si estableces una tasa de aprendizaje demasiado alta, el descenso de gradientes suele tener problemas para alcanzar la convergencia.

Haz clic en el icono para obtener una explicación más matemática.

Durante cada iteración, el algoritmo de descenso de gradientes multiplica la tasa de aprendizaje por el gradiente. El producto resultante se denomina paso de gradiente.

---

linear

#fundamentals

Es una relación entre dos o más variables que se puede representar únicamente a través de la suma y la multiplicación.

El diagrama de una relación lineal es una línea.

Compara esto con lo no lineal.

modelo lineal

#fundamentals

Es un model que asigna un model por model para realizar model. (Los modelos lineales también incorporan un sesgo). Por el contrario, la relación entre los atributos y las predicciones en los modelos profundos suele ser no lineal.

Los modelos lineales suelen ser más fáciles de entrenar y interpretables que los modelos profundos. Sin embargo, los modelos profundos pueden aprender relaciones complejas entre atributos.

La regresión lineal y la regresión logística son dos tipos de modelos lineales.

Haz clic en el ícono para ver el cálculo.

Un modelo lineal sigue esta fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

En el ejemplo anterior, se ilustra lo siguiente:

• y' es la predicción sin procesar. En algunos tipos de modelos lineales, esta predicción sin procesar se modificará aún más. Por ejemplo, consulta regresión logística.
• b es el sesgo.
• w es un peso, por lo que w₁ es el peso del primer atributo, w₂ es el peso del segundo atributo, y así sucesivamente.
• x es un atributo, por lo que x₁ es el valor del primer atributo, x₂ es el valor del segundo atributo, y así sucesivamente.

Por ejemplo, supongamos que un modelo lineal de tres atributos aprende los siguientes sesgos y pesos:

• b = 7
• w₁ = -2.5
• w₂ = -1.2
• w₃ = 1.4

Por lo tanto, a partir de tres atributos (x₁, x₂ y x₃), el modelo lineal usa la siguiente ecuación para generar cada predicción:

y' = 7 + (-2.5)(x1) + (-1.2)(x2) + (1.4)(x3)

Supongamos que un ejemplo en particular contiene los siguientes valores:

• x₁ = 4
• x₂ = -10
• x₃ = 5

Cuando se conectan esos valores a la fórmula, se genera una predicción para este ejemplo:

y' = 7 + (-2.5)(4) + (-1.2)(-10) + (1.4)(5)
y' = 16

Los modelos lineales incluyen no solo modelos que usan solo una ecuación lineal para hacer predicciones, sino también un conjunto más amplio de modelos que usan una ecuación lineal como solo un componente de la fórmula que realiza predicciones. Por ejemplo, la regresión logística procesa posteriormente la predicción sin procesar (y') para producir un valor de predicción final entre 0 y 1, exclusivamente.

---

regresión lineal

#fundamentals

Es un tipo de modelo de aprendizaje automático en el que se cumplen las siguientes condiciones:

• El modelo es un modelo lineal.
• La predicción es un valor de punto flotante. (Esta es la parte de la regresión de la regresión lineal).

Comparar la regresión lineal con la regresión logística Además, contrasta la regresión con la clasificación.

regresión logística

#fundamentals

Es un tipo de modelo de regresión que predice una probabilidad. Los modelos de regresión logística tienen las siguientes características:

• La etiqueta es categórica. Por lo general, el término regresión logística se refiere a la regresión logística binaria, es decir, a un modelo que calcula las probabilidades de las etiquetas con dos valores posibles. Una variante menos común, la regresión logística multinomial, calcula las probabilidades de las etiquetas con más de dos valores posibles.
• La función de pérdida durante el entrenamiento es Pérdida logística. (Se pueden colocar varias unidades de pérdida logística en paralelo para las etiquetas con más de dos valores posibles).
• El modelo tiene una arquitectura lineal, no una red neuronal profunda. Sin embargo, el resto de esta definición también se aplica a los modelos profundos que predicen probabilidades de etiquetas categóricas.

Por ejemplo, considera un modelo de regresión logística que calcula la probabilidad de que un correo electrónico de entrada sea spam o no spam. Durante la inferencia, supongamos que el modelo predice 0.72. Por lo tanto, el modelo estima lo siguiente:

• Hay una probabilidad del 72% de que el correo electrónico sea spam.
• Hay una probabilidad del 28% de que el correo electrónico no sea spam.

Un modelo de regresión logística usa la siguiente arquitectura de dos pasos:

1. El modelo genera una predicción sin procesar (y') mediante la aplicación de una función lineal de atributos de entrada.
2. El modelo usa esa predicción sin procesar como entrada para una función sigmoidea, que convierte la predicción sin procesar en un valor entre 0 y 1, exclusivo.

Como cualquier modelo de regresión, un modelo de regresión logística predice un número. Sin embargo, por lo general, este número se vuelve parte de un modelo de clasificación binaria de la siguiente manera:

• Si el número predicho es mayor que el umbral de clasificación, el modelo de clasificación binaria predice la clase positiva.
• Si el número predicho es menor que el umbral de clasificación, el modelo de clasificación binaria predice la clase negativa.

Pérdida logística

#fundamentals

La función de pérdida que se usa en la regresión logística binaria.

Haz clic en el ícono para ver el cálculo.

La siguiente fórmula calcula la pérdida logística:

$$\text{Log Loss} = \sum_{(x,y)\in D} -y\log(y') - (1 - y)\log(1 - y')$$

En el ejemplo anterior, se ilustra lo siguiente:

• \((x,y)\in D\) es el conjunto de datos que contiene muchos ejemplos etiquetados, que son \((x,y)\) pares.
• \(y\) es la etiqueta en un ejemplo etiquetado. Dado que se trata de regresión logística, cada valor de \(y\) debe ser 0 o 1.
• \(y'\) es el valor predicho (un valor entre 0 y 1, exclusivo), dado el conjunto de atributos en \(x\).

---

logaritmo de probabilidad

#fundamentals

Es el logaritmo de las probabilidades de que ocurra algún evento.

Haz clic en el ícono para ver el cálculo.

Si el evento es una probabilidad binaria, entonces las probabilidades se refieren a la relación entre la probabilidad de éxito (p) y la de fracaso (1-p). Por ejemplo, supongamos que un evento determinado tiene un 90% de probabilidades de éxito y una probabilidad de fracaso del 10%. En este caso, las probabilidades se calculan de la siguiente manera:

$$ {\text{odds}} = \frac{\text{p}} {\text{(1-p)}} = \frac{.9} {.1} = {\text{9}} $$

El logaritmo de probabilidad es simplemente el logaritmo de las probabilidades. Por convención, "logaritmo" se refiere al logaritmo natural, pero en realidad podría ser cualquier base superior a 1. Por lo tanto, apegarse a la convención, los logaritmos de probabilidad de nuestro ejemplo son los siguientes:

$$ {\text{log-odds}} = ln(9) ~= 2.2 $$

La función logaritmo de probabilidad es la inversa de la función sigmoidea.

---

pérdida

#fundamentals

Durante el entrenamiento de un modelo supervisado, una medida de qué tan lejos está la predicción de un modelo de su etiqueta.

Una función de pérdida calcula la pérdida.

curva de pérdida

#fundamentals

Es un gráfico de la pérdida como una función de la cantidad de iteraciones de entrenamiento. En el siguiente gráfico, se muestra una curva de pérdida típica:

Las curvas de pérdida pueden ayudarte a determinar cuándo tu modelo está convergiendo o sobreajuste.

Las curvas de pérdida pueden representar todos los siguientes tipos de pérdida:

• pérdida de entrenamiento
• pérdida de validación
• pérdida de prueba

Consulta también la curva de generalización.

función de pérdida

#fundamentals

Durante el entrenamiento o las pruebas, una función matemática que calcula la pérdida en un lote de ejemplos. Una función de pérdida muestra una pérdida menor en los modelos que hacen buenas predicciones que en los modelos que hacen predicciones erróneas.

Por lo general, el objetivo del entrenamiento es minimizar la pérdida que devuelve una función de pérdida.

Existen muchos tipos diferentes de funciones de pérdida. Elige la función de pérdida apropiada para el tipo de modelo que estás compilando. Por ejemplo:

• La pérdida L₂ (o el error cuadrático medio) es la función de pérdida para la regresión lineal.
• Pérdida logística es la función de pérdida para la regresión logística.

M

aprendizaje automático

#fundamentals

Es un programa o sistema que entrena un modelo a partir de datos de entrada. El modelo entrenado puede hacer predicciones útiles a partir de datos nuevos (nunca vistos) extraídos de la misma distribución que los utilizados para entrenar el modelo.

El aprendizaje automático también es el campo de estudio relacionado con estos programas o sistemas.

clase mayoritaria

#fundamentals

Etiqueta más común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas negativas son la clase mayoritaria.

Compara esto con la clase minoritaria.

minilote

#fundamentals

Subconjunto pequeño seleccionado de forma aleatoria de un lote procesado en una iteración. El tamaño del lote de un minilote generalmente es entre 10 y 1,000 ejemplos.

Por ejemplo, supongamos que todo el conjunto de entrenamiento (el lote completo) consta de 1,000 ejemplos. Además, supongamos que estableces el tamaño del lote de cada minilote en 20. Por lo tanto, cada iteración determina la pérdida en 20 aleatorias de los 1,000 ejemplos y, luego, ajusta las ponderaciones y los sesgos según corresponda.

Es mucho más eficiente calcular la pérdida en un minilote que la pérdida en todos los ejemplos del lote completo.

clase minoritaria

#fundamentals

Etiqueta menos común en un conjunto de datos con desequilibrio de clases. Por ejemplo, dado un conjunto de datos que contiene un 99% de etiquetas negativas y un 1% de etiquetas positivas, las etiquetas positivas son la clase minoritaria.

Compara esto con la clase de mayoría.

Haz clic en el ícono de notas adicionales.

Un conjunto de entrenamiento con un millón de ejemplos suena impresionante. Sin embargo, si la clase minoritaria está mal representada, incluso un conjunto de entrenamiento muy grande puede no ser suficiente. Enfócate menos en la cantidad total de ejemplos del conjunto de datos y más en la cantidad de ejemplos en la clase minoritaria.

Si tu conjunto de datos no contiene suficientes ejemplos de clases minoritarias, considera usar la reducción de muestreo (la definición en el segundo punto) para complementar la clase minoritaria.

---

model

#fundamentals

En general, cualquier construcción matemática que procese datos de entrada y muestre una salida. En otras palabras, un modelo es el conjunto de parámetros y estructura necesarios para que un sistema haga predicciones. En el aprendizaje automático supervisado, un modelo toma un ejemplo como entrada y, luego, infiere una predicción como salida. En el aprendizaje automático supervisado, los modelos difieren un poco. Por ejemplo:

• Un modelo de regresión lineal consta de un conjunto de ponderaciones y un sesgo.
• Un modelo de red neuronal consta de los siguientes elementos:
  • Un conjunto de capas ocultas, cada una de las cuales contiene una o más neuronas.
  • Los pesos y el sesgo asociados con cada neurona.
• Un modelo de árbol de decisión consta de lo siguiente:
  • La forma del árbol, es decir, el patrón en el que se conectan las condiciones y las hojas.
  • Las condiciones y se van.

Puedes guardar, restablecer o hacer copias de un modelo.

El aprendizaje automático no supervisado también genera modelos, por lo general, una función que puede asignar un ejemplo de entrada al clúster más apropiado.

Haz clic en el ícono para comparar funciones algebraicas y de programación con modelos de AA.

Una función algebraica como la siguiente es un modelo:

  f(x, y) = 3x -5xy + y2 + 17

La función anterior asigna valores de entrada (x e y) al resultado.

De forma similar, una función de programación como la siguiente también es un modelo:

def half_of_greater(x, y):
  if (x > y):
    return(x / 2)
  else
    return(y / 2)

Un emisor pasa argumentos a la función de Python anterior, y la función de Python genera un resultado (a través de la declaración return).

Aunque una red neuronal profunda tiene una estructura matemática muy diferente de una función algebraica o de programación, una red neuronal profunda aún toma entradas (un ejemplo) y muestra un resultado (una predicción).

Un programador humano codifica una función de programación de forma manual. En cambio, un modelo de aprendizaje automático aprende los parámetros óptimos de forma gradual durante el entrenamiento automatizado.

---

clasificación de clases múltiples

#fundamentals

En el aprendizaje supervisado, es un problema de clasificación en el que el conjunto de datos contiene más de dos clases de etiquetas. Por ejemplo, las etiquetas en el conjunto de datos Iris deben ser una de las siguientes tres clases:

• Iris setosa
• Iris virginica
• Iris versicolor

Un modelo entrenado con el conjunto de datos Iris que predice el tipo Iris en ejemplos nuevos realiza una clasificación de clases múltiples.

Por el contrario, los problemas de clasificación que distinguen entre exactamente dos clases son modelos de clasificación binaria. Por ejemplo, un modelo de correo electrónico que predice es spam o no es spam es un modelo de clasificación binaria.

En los problemas de agrupamiento en clústeres, la clasificación de clases múltiples se refiere a más de dos clústeres.

N

clase negativa

#fundamentals

En la clasificación binaria, una clase se denomina positiva y la otra negativa. La clase positiva es lo que el modelo está probando y la clase negativa es la otra posibilidad. Por ejemplo:

• En un examen médico, la clase negativa podría ser “no es un tumor”.
• Es posible que la clase negativa en un clasificador de correo electrónico sea "no es spam".

Compara esto con la clase positiva.

neuronal prealimentada

#fundamentals

Un model que contiene al menos una model Una red neuronal profunda es un tipo de red neuronal que contiene más de una capa oculta. Por ejemplo, en el siguiente diagrama, se muestra una red neuronal profunda que contiene dos capas ocultas.

Cada neurona en una red neuronal se conecta con todos los nodos de la siguiente capa. Por ejemplo, en el diagrama anterior, observa que cada una de las tres neuronas en la primera capa oculta se conecta por separado a ambas neuronas en la segunda capa oculta.

Las redes neuronales implementadas en computadoras a veces se denominan redes neuronales artificiales para diferenciarlas de las redes neuronales que se encuentran en el cerebro y otros sistemas nerviosos.

Algunas redes neuronales pueden imitar relaciones no lineales extremadamente complejas entre diferentes atributos y la etiqueta.

Consulta también red neuronal convolucional y red neuronal recurrente.

neurona

#fundamentals

En el aprendizaje automático, es una unidad distinta dentro de una capa oculta de una red neuronal. Cada neurona realiza la siguiente acción de dos pasos:

1. Calcula la suma ponderada de los valores de entrada multiplicados por sus pesos correspondientes.
2. Pasa la suma ponderada como entrada a una función de activación.

Una neurona en la primera capa oculta acepta entradas de los valores de atributos en la capa de entrada. Una neurona en cualquier capa oculta más allá de la primera acepta entradas de las neuronas en la capa oculta anterior. Por ejemplo, una neurona en la segunda capa oculta acepta entradas de las neuronas en la primera capa oculta.

En la siguiente ilustración, se destacan dos neuronas y sus entradas.

Una neurona en una red neuronal imita el comportamiento de las neuronas en el cerebro y otras partes de los sistemas nerviosos.

nodo (red neuronal)

#fundamentals

Una neurona en una capa oculta.

no lineal

#fundamentals

Es una relación entre dos o más variables que no se puede representar únicamente a través de la suma y la multiplicación. Una relación lineal se puede representar como una línea, mientras que una no lineal no como una línea. Por ejemplo, considera dos modelos que relaciona un atributo único con una sola etiqueta. El modelo de la izquierda es lineal y el de la derecha no es lineal:

no estacionariedad

#fundamentals

Atributo cuyos valores cambian entre una o más dimensiones, generalmente el tiempo. Por ejemplo, considera los siguientes ejemplos de no estacionariedad:

• La cantidad de trajes de baño que se venden en una tienda específica varía según la temporada.
• La cantidad de una fruta en particular cosechada en una región determinada es cero durante gran parte del año, pero alta durante un período breve.
• Debido al cambio climático, las temperaturas promedio anuales están cambiando.

Compara esto con la estacionaridad.

normalización

#fundamentals

En términos generales, el proceso de convertir el rango de valores real de una variable en uno estándar, como el siguiente:

• De -1 a +1
• De 0 a 1
• la distribución normal

Por ejemplo, supongamos que el rango real de valores de un atributo determinado es de 800 a 2,400. Como parte de la ingeniería de atributos, podrías normalizar los valores reales a un rango estándar, como de -1 a +1.

La normalización es una tarea común en la ingeniería de atributos. Por lo general, los modelos se entrenan más rápido (y producen mejores predicciones) cuando cada atributo numérico en el vector de atributos tiene más o menos el mismo rango.

datos numéricos

#fundamentals

Atributos representados como números enteros o de valores reales. Por ejemplo, un modelo de valoración de casas probablemente representaría el tamaño de una casa (en pies cuadrados o metros cuadrados) como datos numéricos. Representar un atributo como datos numéricos indica que los valores del atributo tienen una relación matemática con la etiqueta. Es decir, es probable que el número de metros cuadrados de una casa tenga alguna relación matemática con el valor de la casa.

No todos los datos de números enteros deben representarse como datos numéricos. Por ejemplo, los códigos postales de algunas partes del mundo son números enteros; sin embargo, los códigos postales de números enteros no deben representarse como datos numéricos en los modelos. Esto se debe a que un código postal de 20000 no es el doble (o la mitad) de la potencia que un código postal de 10000. Además, aunque los diferentes códigos postales sí se correlacionan con diferentes valores de bienes raíces, no podemos suponer que los valores de bienes raíces en el código postal 20000 son dos veces más valiosos que los valores de bienes raíces en el código postal 10000. En cambio, los códigos postales deben representarse como datos categóricos.

A veces, los atributos numéricos se denominan atributos continuos.

O

sin conexión

#fundamentals

Sinónimo de estática.

inferencia sin conexión

#fundamentals

Es el proceso mediante el cual un modelo genera un lote de predicciones y, luego, almacena en caché (guarda) esas predicciones. Las apps pueden acceder a la predicción inferida desde la caché, en lugar de volver a ejecutar el modelo.

Por ejemplo, considera un modelo que genere pronósticos meteorológicos locales (predicciones) una vez cada cuatro horas. Luego de ejecutar cada modelo, el sistema almacena en caché todas las previsiones meteorológicas locales. Las apps meteorológicas recuperan las previsiones de la caché.

La inferencia sin conexión también se denomina inferencia estática.

Compara esto con la inferencia en línea.

codificación one-hot

#fundamentals

Representar datos categóricos como un vector en el que sucede lo siguiente:

• Un elemento se establece en 1.
• Todos los demás elementos se establecen en 0.

La codificación one-hot se usa comúnmente para representar strings o identificadores que tienen un conjunto finito de valores posibles. Por ejemplo, supongamos que un atributo categórico determinado llamado Scandinavia tiene cinco valores posibles:

• "Dinamarca"
• "Suecia"
• "Noruega"
• "Finlandia"
• “Islandia”

La codificación one-hot podría representar cada uno de los cinco valores de la siguiente manera:

country	Vector
"Dinamarca"	1	0	0	0	0
"Suecia"	0	1	0	0	0
"Noruega"	0	0	1	0	0
"Finlandia"	0	0	0	1	0
“Islandia”	0	0	0	0	1

Gracias a la codificación one-hot, un modelo puede aprender diferentes conexiones en función de cada uno de los cinco países.

La representación de un atributo como datos numéricos es una alternativa a la codificación one-hot. Lamentablemente, representar los países escandinavos en números no es una buena opción. Por ejemplo, considera la siguiente representación numérica:

• "Dinamarca" es 0
• "Suecia" es 1
• "Noruega" es 2
• "Finlandia" es 3
• "Islandia" cumple 4

Con la codificación numérica, un modelo interpretaría los números sin procesar de manera matemática y trataría de entrenarlos con esos números. Sin embargo, Islandia no es en realidad el doble (o la mitad) de algo que Noruega, por lo que el modelo llegaría a conclusiones extrañas.

uno frente a todos

#fundamentals

En un problema de clasificación con N clases, es una solución que consta de N clasificadores binarios independientes, es decir, un clasificador binario para cada resultado posible. Por ejemplo, dado un modelo que clasifica ejemplos como animal, vegetal o mineral, una solución de uno frente a todos proporcionaría los siguientes tres clasificadores binarios separados:

• animal frente a no animal
• vegetal versus no vegetal
• mineral frente a no mineral

en línea

#fundamentals

Sinónimo de dinámico.

inferencia en línea

#fundamentals

Generación de predicciones a pedido. Por ejemplo, supongamos que una app pasa entradas a un modelo y emite una solicitud de predicción. Un sistema que usa inferencia en línea responde a la solicitud ejecutando el modelo (y mostrando la predicción a la app).

Compara esto con la inferencia sin conexión.

capa de salida

#fundamentals

La capa "final" de una red neuronal. La capa de salida contiene la predicción.

En la siguiente ilustración, se muestra una pequeña red neuronal profunda con una capa de entrada, dos capas ocultas y una capa de salida:

sobreajuste

#fundamentals

Crear un model que coincida con los model de manera tal que el modelo no pueda realizar predicciones correctas con datos nuevos.

La regularización puede reducir el sobreajuste. Entrenar en un conjunto de entrenamiento grande y diverso también puede reducir el sobreajuste.

Haz clic en el ícono de notas adicionales.

El sobreajuste es como seguir estrictamente los consejos de tu profesor favorito. Es probable que tengas éxito en la clase de ese profesor, pero podrías "sobreajustarte" a las ideas de ese profesor y no tener éxito en otras clases. Seguir los consejos de un grupo de profesores te permitirá adaptarte mejor a nuevas situaciones.

---

P

pandas

#fundamentals

Una API de análisis de datos orientada a columnas compilada sobre numpy. Muchos frameworks de aprendizaje automático, incluido TensorFlow, admiten estructuras de datos de Pandas como entradas. Para obtener más información, consulta la documentación de Pandas.

parámetro

#fundamentals

Las ponderaciones y los sesgos que aprende un modelo durante el entrenamiento. Por ejemplo, en un modelo de regresión lineal, los parámetros consisten en el sesgo (b) y todos los pesos (w₁, w₂, etc.) en la siguiente fórmula:

$$y' = b + w_1x_1 + w_2x_2 + … w_nx_n$$

Por el contrario, los hiperparámetros son los valores que tú (o un servicio de conversión de hiperparámetros) suministras al modelo. Por ejemplo, la tasa de aprendizaje es un hiperparámetro.

clase positiva

#fundamentals

La clase que estás probando.

Por ejemplo, la clase positiva en un modelo de cáncer podría ser “tumor”. La clase positiva en un clasificador de correo electrónico puede ser "spam".

Compara esto con la clase negativa.

Haz clic en el ícono de notas adicionales.

El término clase positiva puede ser confuso porque el resultado "positivo" de muchas pruebas suele ser un resultado no deseado. Por ejemplo, la clase positiva en muchos exámenes médicos corresponde a tumores o enfermedades. En general, querrás que un médico te diga: "¡Felicitaciones! Los resultados de la prueba fueron negativos". En cualquier caso, la clase positiva es el evento que la prueba busca encontrar.

Es cierto que realizas pruebas simultáneamente para las clases positiva y negativa.

---

procesamiento posterior

#fairness

#fundamentals

Ajustar el resultado de un modelo después de su ejecución El posprocesamiento se puede usar para aplicar restricciones de equidad sin modificar los modelos.

Por ejemplo, podrías aplicar el procesamiento posterior a un clasificador binario si estableces un umbral de clasificación, de modo que se mantenga la igualdad de oportunidades para algún atributo cuando se verifique que la tasa de verdaderos positivos sea la misma para todos los valores de ese atributo.

Predicción

#fundamentals

La salida de un modelo. Por ejemplo:

• La predicción de un modelo de clasificación binaria es la clase positiva o la clase negativa.
• La predicción de un modelo de clasificación de clases múltiples es de una clase.
• La predicción de un modelo de regresión lineal es un número.

etiquetas de proxy

#fundamentals

Datos usados para aproximar etiquetas que no están disponibles directamente en un conjunto de datos.

Por ejemplo, supongamos que debes entrenar un modelo para predecir el nivel de estrés de los empleados. El conjunto de datos contiene muchos atributos predictivos, pero no incluye una etiqueta llamada nivel de estrés. Sin desanimarse, eliges "accidentes en el lugar de trabajo" como una etiqueta de proxy para el nivel de estrés. Después de todo, los empleados bajo mucho estrés tienen más accidentes que los empleados calmados. ¿O no? Puede que los accidentes laborales aumenten y desciendan por varias razones.

Como segundo ejemplo, supongamos que deseas que está lloviendo? sea una etiqueta booleana para tu conjunto de datos, pero tu conjunto de datos no contenga datos sobre lluvia. Si hay fotografías disponibles, puedes establecer fotos de personas con paraguas como una etiqueta de proxy para ¿está lloviendo? ¿Es una buena etiqueta de proxy? Aunque es posible, pero es más probable que las personas de algunas culturas lleven paraguas como protección del sol que de la lluvia

Las etiquetas de proxy suelen ser imperfectas. Cuando sea posible, elige etiquetas reales en lugar de etiquetas de proxy. Dicho esto, cuando falta una etiqueta real, elige la etiqueta de proxy con mucho cuidado y, luego, elige la variante de etiqueta de proxy menos terrible.

R

RAV

#fundamentals

Abreviatura de generación de aumento de recuperación.

evaluador

#fundamentals

Una persona que proporciona etiquetas para ejemplos. “Anotador” es otro nombre para evaluador.

Unidad lineal rectificada (ReLU)

#fundamentals

Una función de activación con el siguiente comportamiento:

• Si la entrada es negativa o cero, el resultado es 0.
• Si la entrada es positiva, entonces el resultado es igual a la entrada.

Por ejemplo:

• Si la entrada es -3, el resultado es 0.
• Si la entrada es +3, el resultado es 3.0.

A continuación, se muestra un gráfico de ReLU:

ReLU es una función de activación muy popular. A pesar de su comportamiento simple, ReLU aún permite que una red neuronal aprenda relaciones no lineales entre atributos y la etiqueta.

modelo de regresión

#fundamentals

informalmente, un modelo que genera una predicción numérica. (en cambio, un modelo de clasificación genera una predicción de clases). Por ejemplo, los siguientes son todos modelos de regresión:

• Es un modelo que predice el valor de una casa determinada, como 423,000 euros.
• Modelo que predice la esperanza de vida de un árbol determinado, como 23.2 años.
• Un modelo que predice la cantidad de lluvia que caerá en una ciudad determinada durante las próximas seis horas, por ejemplo, 0.49 cm (0.48 cm).

Los siguientes son dos tipos comunes de modelos de regresión:

• Regresión lineal, que busca la línea que mejor ajuste los valores de etiqueta a los atributos.
• Regresión logística, que genera una probabilidad entre 0.0 y 1.0 de que un sistema normalmente asigne a una predicción de clase.

No todos los modelos que generan predicciones numéricas son modelos de regresión. En algunos casos, una predicción numérica es en realidad un modelo de clasificación que tiene nombres de clase numéricos. Por ejemplo, un modelo que predice un código postal numérico es un modelo de clasificación, no de regresión.

regularización

#fundamentals

Cualquier mecanismo que reduzca el sobreajuste Entre los tipos populares de regularización, se incluyen los siguientes:

• Regularización L₁
• Regularización L₂
• regularización de abandono
• interrupción anticipada (este no es un método de regularización formal, pero puede limitar el sobreajuste de manera eficaz)

La regularización también puede definirse como la penalización de la complejidad de un modelo.

Haz clic en el ícono de notas adicionales.

La regularización es contradictoria. Por lo general, aumentar la regularización aumenta la pérdida de entrenamiento, lo que es confuso, ya que el objetivo no es minimizar la pérdida de entrenamiento.

En realidad, no. El objetivo no es minimizar la pérdida de entrenamiento. El objetivo es realizar excelentes predicciones con ejemplos del mundo real. Sorprendentemente, aunque aumentar la regularización aumenta la pérdida de entrenamiento, por lo general, ayuda a los modelos a realizar mejores predicciones con ejemplos del mundo real.

---

tasa de regularización

#fundamentals

Un número que especifica la importancia relativa de la regularización durante el entrenamiento. Aumentar la tasa de regularización reduce el sobreajuste, pero puede reducir el poder predictivo del modelo. Por el contrario, omitir o reducir la tasa de regularización aumenta el sobreajuste.

Haz clic en el ícono para ver el cálculo.

Por lo general, la tasa de regularización se representa como la lambda de la letra griega. La siguiente ecuación de pérdida simplificada muestra la influencia de lambda:

$$\text{minimize(loss function + }\lambda\text{(regularization))}$$

En el ejemplo anterior, la regularización es cualquier mecanismo de regularización, incluidos los siguientes:

• Regularización L₁
• Regularización L₂

---

ReLU

#fundamentals

Abreviatura de Unidad lineal rectificada.

generación de aumento de recuperación (RAG)

#fundamentals

Una técnica para mejorar la calidad de los resultados del modelo grande de lenguaje (LLM) mediante la base de fuentes de conocimiento recuperadas después de entrenar el modelo. RAG mejora la precisión de las respuestas del LLM, ya que le brinda al LLM entrenado acceso a la información recuperada de bases de conocimiento o documentos confiables.

Estas son algunas motivaciones comunes para usar la generación de aumento de recuperación:

• Aumentar la exactitud fáctica de las respuestas generadas de un modelo.
• Darle al modelo acceso al conocimiento con el que no se entrenó
• Cambiar el conocimiento que utiliza el modelo
• Permitir que el modelo cite fuentes.

Por ejemplo, supongamos que una app de química usa la API de PaLM para generar resúmenes relacionados con las consultas de los usuarios. Cuando el backend de la app recibe una consulta, sucede lo siguiente:

1. Busca ("recupera") datos relevantes para la consulta del usuario.
2. Agrega ("aumentos") los datos químicos relevantes a la consulta del usuario.
3. Indica al LLM que cree un resumen basado en los datos agregados.

Curva ROC (característica operativa del receptor)

#fundamentals

Gráfico de la tasa de verdaderos positivos frente a la tasa de falsos positivos para diferentes umbrales de clasificación en la clasificación binaria.

La forma de una curva ROC sugiere la capacidad de un modelo de clasificación binaria para separar las clases positivas de las negativas. Supongamos, por ejemplo, que un modelo de clasificación binaria separa a la perfección todas las clases negativas de todas las positivas:

La curva ROC del modelo anterior se ve de la siguiente manera:

Por el contrario, en la siguiente ilustración se muestran los valores de regresión logística sin procesar para un modelo terrible que no puede separar en absoluto las clases negativas de las positivas:

La curva ROC para este modelo se ve de la siguiente manera:

Mientras tanto, en el mundo real, la mayoría de los modelos de clasificación binaria separan las clases positivas y negativas en cierta medida, pero, por lo general, no perfectamente. Por lo tanto, una curva ROC típica se encuentra entre los dos extremos:

En teoría, el punto en una curva ROC más cercano a (0.0,1.0) identifica el umbral de clasificación ideal. Sin embargo, otros problemas reales influyen en la selección del umbral de clasificación ideal. Por ejemplo, es posible que los falsos negativos causen mucho más dolor que los falsos positivos.

Una métrica numérica llamada AUC resume la curva ROC en un solo valor de punto flotante.

Raíz cuadrada del error cuadrático medio (RMSE)

#fundamentals

Raíz cuadrada del error cuadrático medio.

S

función sigmoidea

#fundamentals

Función matemática que "aprieta" un valor de entrada en un rango restringido, generalmente 0 a 1 o -1 a +1. Es decir, puedes pasar cualquier número (dos, un millón, mil millones negativos, lo que sea) a una sigmoidea y el resultado seguirá estando en el rango restringido. Un trazado de la función de activación sigmoidea se ve de la siguiente manera:

La función sigmoidea tiene varios usos en el aprendizaje automático, incluidos los siguientes:

• Convertir el resultado sin procesar de un modelo de regresión logística o regresión multinomial en una probabilidad
• Actúa como una función de activación en algunas redes neuronales.

Haz clic en el ícono para ver el cálculo.

La función sigmoidea sobre un número de entrada x tiene la siguiente fórmula:

$$ sigmoid(x) = \frac{1}{1 + e^{-\text{x}}} $$

En el aprendizaje automático, x suele ser una suma ponderada.

---

softmax

#fundamentals

Función que determina las probabilidades para cada clase posible en un modelo de clasificación de clases múltiples. Las probabilidades suman exactamente 1.0. Por ejemplo, en la siguiente tabla, se muestra cómo softmax distribuye varias probabilidades:

La imagen es...	Probability
perro	0.85
gato	0.13
caballo	0.02

softmax también se denomina softmax completo.

Compara esto con el muestreo de candidatos.

Haz clic en el ícono para ver el cálculo.

La ecuación de softmax es la siguiente:

$$\sigma_i = \frac{e^{\text{z}_i}} {\sum_{j=1}^{j=K} {e^{\text{z}_j}}} $$

En el ejemplo anterior, se ilustra lo siguiente:

• $\sigma_i$ es el vector de salida. Cada elemento del vector de salida especifica la probabilidad de este elemento. La suma de todos los elementos en el vector de salida es 1.0. El vector de salida contiene la misma cantidad de elementos que el vector de entrada, $z$.
• $z$ es el vector de entrada. Cada elemento del vector de entrada contiene un valor de punto flotante.
• $K$ es la cantidad de elementos en el vector de entrada (y el vector de salida).

Por ejemplo, supongamos que el vector de entrada es:

[1.2, 2.5, 1.8]

Por lo tanto, softmax calcula el denominador de la siguiente manera:

$$\text{denominator} = e^{1.2} + e^{2.5} + e^{1.8} = 21.552$$

Por lo tanto, la probabilidad de softmax de cada elemento es la siguiente:

$$\sigma_1 = \frac{e^{1.2}}{21.552} = 0.154 $$ $$\sigma_2 = \frac{e^{2.5}}{21.552} = 0.565 $$ $$\sigma_1 = \frac{e^{1.8}}{21.552} = 0.281 $$

Por lo tanto, el vector de salida es:

$$\sigma = [0.154, 0.565, 0.281]$$

La suma de los tres elementos en $\sigma$ es 1.0. ¡Vaya!

---

atributo disperso

#language

#fundamentals

Un atributo cuyos valores son predominantemente cero o están vacíos. Por ejemplo, un atributo que contiene un solo valor 1 y un millón de valores 0 está disperso. Por el contrario, un atributo denso tiene valores que en su mayoría no son cero ni están vacíos.

En el aprendizaje automático, una cantidad sorprendente de atributos son atributos dispersos. Los atributos categóricos suelen ser atributos dispersos. Por ejemplo, de las 300 especies posibles de árboles en un bosque, un solo ejemplo podría identificar solo un arce. O, entre los millones de videos posibles en una biblioteca de videos, un solo ejemplo podría identificar solo "Casablanca".

Por lo general, en un modelo, representas atributos dispersos con la codificación one-hot. Si la codificación one-hot es grande, puedes colocar una capa de incorporación sobre la codificación one-hot para obtener una mayor eficiencia.

representación dispersa

#language

#fundamentals

Almacenar solo las posiciones de elementos distintos de cero en un atributo disperso

Por ejemplo, supongamos que un atributo categórico llamado species identifica las 36 especies de árbol en un bosque en particular. Además, supongamos que cada ejemplo identifica solo una especie.

Podrías usar un vector one-hot para representar las especies arbóreas en cada ejemplo. Un vector one-hot contendrá un solo 1 (para representar la especie arbórea particular en ese ejemplo) y 35 0 (para representar las 35 especies de árboles que no están en ese ejemplo). Por lo tanto, la representación one-hot de maple podría verse de la siguiente manera:

De manera alternativa, la representación dispersa simplemente identificaría la posición de la especie en particular. Si maple está en la posición 24, la representación dispersa de maple simplemente sería:

24

Ten en cuenta que la representación dispersa es mucho más compacta que la representación one-hot.

Nota: No debes pasar una representación dispersa como una entrada directa de atributos a un modelo. En cambio, debes convertir la representación dispersa en una representación one-hot antes de entrenar en ella.

Haz clic en el ícono para ver un ejemplo un poco más complejo.

Supongamos que cada ejemplo en tu modelo debe representar las palabras de una oración en inglés, pero no su orden. El inglés tiene alrededor de 170,000 palabras, por lo que es una característica categórica con alrededor de 170,000 elementos. La mayoría de las oraciones en inglés usan una fracción extremadamente pequeña de esas 170,000 palabras, por lo que el conjunto de palabras en un solo ejemplo probablemente sean datos dispersos.

Analiza la siguiente oración:

My dog is a great dog

Podrías usar una variante del vector one-hot para representar las palabras de esta oración. En esta variante, varias celdas del vector pueden contener un valor distinto de cero. Además, en esta variante, una celda puede contener un número entero distinto de uno. Aunque las palabras “mi”, “es”, “un” y “excelente” aparecen solo una vez en la oración, la palabra “perro” aparece dos veces. El uso de esta variante de vectores one-hot para representar las palabras de esta oración genera el siguiente vector de 170,000 elementos:

Una representación dispersa de la misma oración simplemente sería:

0: 1
26100: 2
45770: 1
58906: 1
91520: 1

---

Haz clic en el ícono si no sabes cómo hacerlo.

El término "representación dispersa" confunde a muchas personas porque la representación dispersa no es un vector disperso. En cambio, la representación dispersa es una representación densa de un vector disperso. La representación del índice de sinónimos es un poco más clara que "representación dispersa".

---

vector disperso

#fundamentals

Vector cuyos valores son en su mayoría ceros. Consulta también el atributo disperso y la dispersión.

pérdida al cuadrado

#fundamentals

Sinónimo de pérdida L₂.

static

#fundamentals

Algo que se hace una vez en lugar de continuamente. Los términos estático y sin conexión son sinónimos. Los siguientes son usos comunes de la función estática y sin conexión en el aprendizaje automático:

• El modelo estático (o modelo sin conexión) es un modelo que se entrena una vez y, luego, se usa durante un tiempo.
• El entrenamiento estático (o entrenamiento sin conexión) es el proceso de entrenamiento de un modelo estático.
• La inferencia estática (o inferencia sin conexión) es un proceso en el que un modelo genera un lote de predicciones a la vez.

Compara esto con lo dinámico.

inferencia estática

#fundamentals

Sinónimo de inferencia sin conexión.

estacionariedad

#fundamentals

Atributo cuyos valores no cambian entre una o más dimensiones, por lo general, el tiempo. Por ejemplo, un atributo cuyos valores se ven casi iguales en 2021 y 2023 muestra estacionaridad.

En el mundo real, muy pocos componentes exhiben estacionaridad. Incluso los componentes sinónimos de estabilidad (como el nivel del mar) cambian con el tiempo.

Compara esto con la no estacionariedad.

descenso de gradientes estocástico (SGD)

#fundamentals

Algoritmo de descenso de gradientes en el que el tamaño del lote es uno. En otras palabras, el SGD se entrena con un solo ejemplo elegido de manera uniforme al azar de un conjunto de entrenamiento.

aprendizaje automático supervisado

#fundamentals

Entrenar un model a partir de model y sus model correspondientes El aprendizaje automático supervisado es análogo a aprender sobre un tema a través del estudio de un conjunto de preguntas y sus respuestas correspondientes. Después de dominar la asignación entre preguntas y respuestas, un estudiante puede proporcionar respuestas a preguntas nuevas (nunca antes vistas) sobre el mismo tema.

Compara esto con el aprendizaje automático no supervisado.

atributo sintético

#fundamentals

Atributo que no está presente entre los atributos de entrada, pero que se ensambla a partir de uno o más de ellos. Entre los métodos para crear atributos sintéticos, se incluyen los siguientes:

• Agrupamiento de un atributo continuo en discretizaciones de rango.
• Crear una combinación de atributos
• Multiplicación (o división) de un atributo por otros atributos o por sí mismo Por ejemplo, si a y b son atributos de entrada, los siguientes son ejemplos de atributos sintéticos:
  • ab
  • a²
• Aplicación de una función trascendental a un valor de atributo. Por ejemplo, si c es un atributo de entrada, los siguientes son ejemplos de atributos sintéticos:
  • sin(c)
  • ln(c)

Los atributos creados mediante la normalización o el escalamiento solos no se consideran atributos sintéticos.

T

pérdida de prueba

#fundamentals

Es una métrica que representa la pérdida de un modelo en comparación con el conjunto de prueba. Cuando compilas un model, por lo general, intentas minimizar la pérdida de prueba. Esto se debe a que una pérdida de prueba baja es un indicador de calidad más fuerte que una pérdida de entrenamiento o una pérdida de validación baja.

A veces, una gran brecha entre la pérdida de prueba y la pérdida de entrenamiento o la pérdida de validación sugiere que debes aumentar la tasa de regularización.

modelos

#fundamentals

Es el proceso de determinar los parámetros ideales (ponderaciones y sesgos) que comprenden un modelo. Durante el entrenamiento, un sistema lee ejemplos y ajusta los parámetros de forma gradual. El entrenamiento utiliza cada ejemplo desde varias veces hasta miles de millones de veces.

pérdida de entrenamiento

#fundamentals

Métrica que representa la pérdida de un modelo durante una iteración de entrenamiento particular. Por ejemplo, supongamos que la función de pérdida es Error cuadrático medio. Quizás la pérdida de entrenamiento (el error cuadrático medio) para la 10a iteración sea 2.2 y la pérdida de entrenamiento para la iteración número 100 sea 1.9.

Una curva de pérdida traza la pérdida en el entrenamiento en comparación con la cantidad de iteraciones. Una curva de pérdida proporciona los siguientes consejos sobre el entrenamiento:

• Una pendiente descendente implica que el modelo está mejorando.
• Una pendiente ascendente implica que el modelo está empeorando.
• Una pendiente plana significa que el modelo alcanzó la convergencia.

Por ejemplo, se muestra la siguiente curva de pérdida un tanto idealizada:

• Una pendiente descendente empinada durante las iteraciones iniciales, lo que implica una mejora rápida del modelo.
• Aplanamiento gradual (pero aún descendente) hasta cerca del final del entrenamiento, lo que implica una mejora continua del modelo a un ritmo algo más lento que durante las iteraciones iniciales.
• Es una pendiente plana hacia el final del entrenamiento, lo que sugiere convergencia.

Aunque la pérdida de entrenamiento es importante, consulta también la generalización.

desviación entre el entrenamiento y la entrega

#fundamentals

La diferencia entre el rendimiento de un modelo durante el entrenamiento y el rendimiento de ese mismo modelo durante la entrega.

conjunto de entrenamiento

#fundamentals

Es el subconjunto del conjunto de datos que se usa para entrenar un modelo.

Tradicionalmente, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos diferentes:

• un conjunto de entrenamiento
• un conjunto de validación
• Un conjunto de prueba

Idealmente, cada ejemplo del conjunto de datos debería pertenecer a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al de validación.

verdadero negativo (VN)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase negativa. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular no es spam y que ese mensaje en realidad no es spam.

verdadero positivo (VP)

#fundamentals

Ejemplo en el que el modelo predice correctamente la clase positiva. Por ejemplo, el modelo infiere que un mensaje de correo electrónico en particular es spam y que ese mensaje realmente es spam.

tasa de verdaderos positivos (TPR)

#fundamentals

Sinónimo de recuperación. Es decir:

$$\text{true positive rate} = \frac{\text{true positives}} {\text{true positives} + \text{false negatives}}$$

La tasa de verdaderos positivos es el eje Y en una curva ROC.

U

subajuste

#fundamentals

Producir un model con poca capacidad predictiva porque el modelo no capturó por completo la complejidad de los datos de entrenamiento. Muchos problemas pueden causar subajuste, como los siguientes:

• Entrenar con el conjunto incorrecto de atributos
• Entrenar durante muy pocos ciclos de entrenamiento o con una tasa de aprendizaje muy baja
• Entrenamiento con una tasa de regularización demasiado alta.
• Proporcionar muy pocas capas ocultas en una red neuronal profunda.

ejemplo sin etiqueta

#fundamentals

Ejemplo que contiene atributos, pero no etiqueta. Por ejemplo, en la siguiente tabla, se muestran tres ejemplos sin etiqueta de un modelo de evaluación de casas, cada uno con tres atributos, pero sin valor de la casa:

Cantidad de dormitorios	Cantidad de baños	Antigüedad
3	2	15
2	1	72
4	2	34

En el aprendizaje automático supervisado, los modelos se entrenan con ejemplos etiquetados y realizan predicciones en ejemplos sin etiqueta.

En el aprendizaje semisupervisado y no supervisado, los ejemplos sin etiqueta se usan durante el entrenamiento.

Compara un ejemplo sin etiqueta con un ejemplo etiquetado.

aprendizaje automático no supervisado

#clustering

#fundamentals

Entrenar un model para encontrar patrones en un conjunto de datos, generalmente sin etiqueta

El uso más común del aprendizaje automático no supervisado es agrupar en clústeres los datos en grupos de ejemplos similares. Por ejemplo, un algoritmo de aprendizaje automático no supervisado puede agrupar canciones en función de varias propiedades de la música. Los clústeres resultantes pueden convertirse en una entrada para otros algoritmos de aprendizaje automático (por ejemplo, para un servicio de recomendaciones de música). El agrupamiento en clústeres puede ayudar cuando las etiquetas útiles son escasas o ausentes. Por ejemplo, en dominios como la protección contra el abuso y el fraude, los clústeres pueden ayudar a las personas a comprender mejor los datos.

Compara esto con el aprendizaje automático supervisado.

Haz clic en el ícono de notas adicionales.

Otro ejemplo de aprendizaje automático no supervisado es el análisis de componentes principales (ACP). Por ejemplo, aplicar el PCA a un conjunto de datos con el contenido de millones de carritos de compras podría revelar que los carritos de compras que contienen limones con frecuencia también contienen antiácidos.

---

V

la validación de políticas

#fundamentals

Es la evaluación inicial de la calidad de un modelo. La validación verifica la calidad de las predicciones de un modelo con el conjunto de validación.

Debido a que el conjunto de validación difiere del conjunto de entrenamiento, la validación ayuda a proteger contra el sobreajuste.

Puedes pensar en evaluar el modelo con el conjunto de validación como la primera ronda de pruebas y evaluar el modelo con el conjunto de prueba como la segunda ronda de pruebas.

pérdida de validación

#fundamentals

Una métrica que representa la pérdida de un modelo en el conjunto de validación durante una iteración particular del entrenamiento.

Consulta también la curva de generalización.

conjunto de validación

#fundamentals

Subconjunto del conjunto de datos que realiza la evaluación inicial frente a un modelo entrenado. Por lo general, debes evaluar el modelo entrenado con el conjunto de validación varias veces antes de evaluarlo con el conjunto de prueba.

Tradicionalmente, los ejemplos del conjunto de datos se dividen en los siguientes tres subconjuntos distintos:

• Un conjunto de entrenamiento
• un conjunto de validación
• Un conjunto de prueba

Idealmente, cada ejemplo del conjunto de datos debería pertenecer a solo uno de los subconjuntos anteriores. Por ejemplo, un solo ejemplo no debe pertenecer al conjunto de entrenamiento y al de validación.

W

peso

#fundamentals

Valor que un modelo multiplica por otro valor. El entrenamiento es el proceso de determinar los pesos ideales de un modelo; la inferencia es el proceso de usar los pesos aprendidos para hacer predicciones.

Haz clic en el ícono para ver un ejemplo de pesos en un modelo lineal.

Imagina un modelo lineal con dos atributos. Supongamos que el entrenamiento determina las siguientes ponderaciones (y el sesgo):

• El sesgo, b, tiene un valor de 2.2
• El peso, w₁ asociado con un atributo es 1.5.
• El peso, w₂ asociado con el otro atributo es 0.4.

Ahora imagina un ejemplo con los siguientes valores de atributo:

• El valor de un atributo, x₁, es 6.
• El valor del otro atributo, x₂, es 10.

En este modelo lineal, se usa la siguiente fórmula para generar una predicción, y':

$$y' = b + w_1x_1 + w_2x_2$$

Por lo tanto, la predicción es la siguiente:

$$y' = 2.2 + (1.5)(6) + (0.4)(10) = 15.2$$

Si un peso es 0, el atributo correspondiente no contribuye al modelo. Por ejemplo, si w₁ es 0, el valor de x₁ es irrelevante.

---

suma ponderada

#fundamentals

Es la suma de todos los valores de entrada relevantes multiplicados por sus ponderaciones correspondientes. Por ejemplo, supongamos que las entradas relevantes constan de lo siguiente:

valor de entrada	peso de entrada
2	-1,3
-1	0.6
3	0.4

Por lo tanto, la suma ponderada es la siguiente:

weighted sum = (2)(-1.3) + (-1)(0.6) + (3)(0.4) = -2.0

Una suma ponderada es el argumento de entrada de una función de activación.

Z

Normalización de la puntuación Z

#fundamentals

Una técnica de escalamiento que reemplaza un valor de atributo sin procesar por un valor de punto flotante que representa la cantidad de desviaciones estándar de la media del atributo Por ejemplo, considera un atributo cuya media es 800 y cuya desviación estándar es 100. En la siguiente tabla, se muestra cómo la normalización de la puntuación Z asignaría el valor sin procesar a su puntuación Z:

Valor sin procesar	Puntaje Z
800	0
950	Más de 1.5
575	−2.25

Luego, el modelo de aprendizaje automático se entrena con las puntuaciones Z para ese atributo en lugar de con los valores sin procesar.