Etiquetas directas frente a etiquetas derivadas
El aprendizaje automático es más fácil cuando las etiquetas están bien definidas. La mejor etiqueta es una etiqueta directa de lo que deseas predecir. Por ejemplo, si deseas predecir si un usuario es un fan de Taylor Swift, una etiqueta directa sería "El usuario es un fan de Taylor Swift".
Una prueba más simple de fanática puede ser si el usuario miró un video de Taylor Swift en YouTube. El sello discográfico "usuario vio un video de Taylor Swift en YouTube" es una etiqueta derivada porque no mide directamente lo que deseas predecir. ¿Esta etiqueta derivada es un indicador confiable de que al usuario le gusta Tayor o Swift? El modelo será tan bueno como la conexión entre la etiqueta derivada y la predicción deseada.
Fuentes de etiquetas
El resultado de su modelo puede ser un evento o un atributo. Esto da como resultado los siguientes dos tipos de etiquetas:
- Etiqueta directa para eventos, como "¿El usuario hizo clic en el resultado principal de la búsqueda?"
- Etiqueta directa para atributos, como "¿El anunciante gastará más de USD X en la próxima semana?"
Etiquetas directas para eventos
En el caso de los eventos, las etiquetas directas suelen ser sencillas, ya que puedes registrar el comportamiento del usuario durante el evento para usarlo como etiqueta. Cuando etiquetes eventos, hazte las siguientes preguntas:
- ¿Cómo se estructuran tus registros?
- ¿Qué se considera un “evento” en sus registros?
Por ejemplo, ¿el sistema registra un usuario que hace clic en un resultado de la búsqueda o cuando un usuario realiza una búsqueda? Si tiene registros de clics, sepa que nunca verá una impresión sin un clic. Necesitas registros en los que los eventos sean impresiones, por lo que debes abarcar todos los casos en los que un usuario ve un resultado principal de la búsqueda.
Etiquetas directas para atributos
Supongamos que su etiqueta es: "El anunciante gastará más de USD X en la próxima semana". Por lo general, utiliza los datos anteriores para predecir lo que sucederá en los días siguientes. Por ejemplo, la siguiente ilustración muestra los diez días de datos de entrenamiento que predicen los siete días siguientes:
Recuerda considerar la estacionalidad o los efectos cíclicos; por ejemplo, los anunciantes podrían gastar más los fines de semana. Por esa razón, es posible que prefieras usar un período de 14 días o usar la fecha como atributo para que el modelo pueda aprender efectos anuales.
Las etiquetas directas necesitan registros de comportamiento anterior
En los casos anteriores, observa que necesitábamos datos sobre el resultado verdadero. Ya sea que los anunciantes gastaran dinero o los usuarios que vieran videos de Taylor Swift, necesitábamos datos históricos para usar el aprendizaje automático supervisado. El aprendizaje automático hace predicciones basadas en lo que sucedió en el pasado, por lo que, si no tienes registros para el pasado, debes obtenerlos.
¿Qué sucede si no tiene datos para registrar?
Quizás tu producto aún no exista, por lo que no tienes ningún dato para registrar. En ese caso, puedes realizar una o más de las siguientes acciones:
- Usa una heurística para un primer lanzamiento y, luego, entrena un sistema en función de los datos registrados.
- Usa registros de un problema similar para iniciar el sistema.
- Completar tareas para usar los evaluadores humanos a fin de generar datos
¿Por qué usar datos etiquetados por personas?
El uso de datos etiquetados por humanos tiene sus ventajas y desventajas.
Ventajas
- Los evaluadores humanos pueden realizar una amplia variedad de tareas.
- Los datos te obligan a tener una definición clara del problema.
Desventajas
- Los datos son costosos para ciertos dominios.
- Por lo general, los datos correctos requieren varias iteraciones.
Mejorar la calidad
Revisa siempre el trabajo de los evaluadores humanos. Por ejemplo, etiqueta 1, 000 ejemplos tú mismo y observa cómo tus resultados coinciden con los evaluadores. (Etiquetar los datos tú mismo también es un buen ejercicio para conocerlos). Si aparecen discrepancias, no asumas que tus calificaciones son correctas, especialmente si se involucra una valoración. Si los evaluadores humanos introdujeron errores, considera agregar instrucciones para ayudarlos y vuelve a intentarlo.
Analizar los datos a mano es un buen ejercicio, sin importar cómo los obtuviste. Andrej Karpathy lo hizo en ImageNet y escribió sobre la experiencia.