Producción

Para preparar tus canalizaciones de AA para la producción, debes hacer lo siguiente:

• Aprovisiona recursos de procesamiento para tus canalizaciones
• Implementa el registro, la supervisión y las alertas

Aprovisionamiento de recursos de procesamiento

La ejecución de canalizaciones de AA requiere recursos de procesamiento, como RAM, CPU y GPU/TPU. Sin la capacidad de procesamiento adecuada, no puedes ejecutar tus canalizaciones. Por lo tanto, asegúrate de obtener la cuota suficiente para aprovisionar los recursos necesarios que tus canalizaciones necesitan para ejecutarse en producción.

• Canalizaciones de entrega, entrenamiento y validación. Estas canalizaciones requieren TPU, GPU o CPU. Según tu caso de uso, es posible que entrenes y realices la inferencia en hardware diferente, o bien que uses el mismo hardware. Por ejemplo, el entrenamiento podría realizarse en CPUs, pero la entrega podría usar TPUs, o viceversa. En general, es común realizar el entrenamiento en hardware más grande y, luego, realizar la inferencia en hardware más pequeño.

  Cuando elijas el hardware, ten en cuenta lo siguiente:

  • ¿Se puede entrenar en hardware menos costoso?
  • ¿Cambiar a un hardware diferente mejoraría el rendimiento?
  • ¿Qué tamaño tiene el modelo y qué hardware optimizará su rendimiento?
  • ¿Qué hardware es ideal según la arquitectura de tu modelo?
  Nota: Cuando cambies de modelo entre hardware, ten en cuenta el tiempo y el esfuerzo necesarios para migrar el modelo. Cambiar el hardware puede hacer que el modelo sea más económico de ejecutar, pero el esfuerzo de ingeniería para hacerlo podría superar los ahorros, o bien el esfuerzo de ingeniería podría priorizarse mejor en otro trabajo.

• Canalizaciones de datos. Las canalizaciones de datos requieren cuota para la RAM y la CPU Deberás estimar cuánta cuota necesita tu canalización para generar conjuntos de datos de entrenamiento y prueba.

Es posible que no asignes cuota para cada canalización. En su lugar, puedes asignar una cuota que compartan las canalizaciones. En esos casos, verifica que tengas suficiente cuota para ejecutar todas tus canalizaciones y configura la supervisión y las alertas para evitar que una sola canalización errónea consuma toda la cuota.

Cuota de estimación

Para estimar la cuota que necesitarás para las canalizaciones de datos y entrenamiento, busca proyectos similares en los que basar tus estimaciones. Para estimar la cuota de servicio, intenta predecir las consultas por segundo del servicio. Estos métodos proporcionan un valor de referencia. A medida que comiences a crear un prototipo de solución durante la fase de experimentación, comenzarás a obtener una estimación de cuota más precisa.

Cuando calcules la cuota, recuerda tener en cuenta no solo la cuota de tus canalizaciones de producción, sino también la de los experimentos en curso.

Comprueba tu comprensión

Cuando elijas el hardware para entregar predicciones, siempre debes elegir un hardware más potente que el que se usó para entrenar el modelo.

Falso

Correcto. Por lo general, el entrenamiento requiere un hardware más grande que la publicación.

Verdadero

Registro, supervisión y alertas

Es fundamental registrar y supervisar el comportamiento de un modelo de producción. La infraestructura de supervisión sólida confirma que tus modelos ofrecen predicciones confiables y de alta calidad.

Las buenas prácticas de registro y supervisión ayudan a identificar de forma proactiva los problemas en las canalizaciones de AA y a mitigar el posible impacto en el negocio. Cuando ocurren problemas, las alertas notifican a los miembros de tu equipo, y los registros integrales facilitan el diagnóstico de la causa raíz del problema.

Debes implementar el registro y la supervisión para detectar los siguientes problemas con las canalizaciones de AA:

Canalización	Supervisar
Entrega	Sesgos o desviaciones en los datos de entrega en comparación con los datos de entrenamiento Sesgos o desviaciones en las predicciones Problemas con los tipos de datos, como valores faltantes o dañados Uso de cuota Métricas de calidad del modelo Calcular la calidad de un modelo de producción es diferente de calcular la calidad de un modelo durante el entrenamiento. En producción, no necesariamente tendrás acceso a la verdad fundamental para comparar las predicciones. En su lugar, deberás escribir una instrumentación de supervisión personalizada para capturar métricas que actúen como un proxy de la calidad del modelo. Por ejemplo, en una app de correo, no sabrás qué correos son spam en tiempo real. En su lugar, puedes supervisar el porcentaje de usuarios de correo electrónico que mueven mensajes a la carpeta de spam. Si el número aumenta del 0.5% al 3%, esto indica un posible problema con el modelo. Ten en cuenta que comparar los cambios en las métricas de proxy es más útil que comparar sus cifras sin procesar.
Datos	Sesgos y desvíos en los valores de los atributos Sesgos y desviaciones en los valores de las etiquetas Problemas con los tipos de datos, como valores faltantes o dañados Tasa de uso de la cuota Se está por alcanzar el límite de cuota
Capacitación	Tiempo de entrenamiento Fallas en el entrenamiento Uso de cuota
Validación	Sesgo o desviación en los conjuntos de datos de prueba

También querrás registrar, supervisar y generar alertas para lo siguiente:

• Latencia. ¿Cuánto tiempo se tarda en entregar una predicción?
• Interrupciones. ¿El modelo dejó de entregar predicciones?

Comprueba tu comprensión

¿Cuál de las siguientes es la razón principal para registrar y supervisar tus canalizaciones de AA?

Detectar problemas de forma proactiva antes de que afecten a los usuarios

Realiza un seguimiento del uso de recursos y cuotas

Identifica posibles problemas de seguridad

Todas las opciones anteriores

Correcto. Registrar y supervisar tus canalizaciones de AA ayuda a prevenir y diagnosticar problemas antes de que se vuelvan graves.

La implementación de un modelo.

Para la implementación del modelo, te recomendamos que documentes lo siguiente:

• Aprobaciones necesarias para comenzar la implementación y aumentarla
• Cómo poner un modelo en producción
• Indica dónde se implementa el modelo, por ejemplo, si hay entornos de pruebas o de lanzamiento de versiones preliminares.
• Qué hacer si falla una implementación
• Cómo revertir un modelo que ya está en producción

Después de automatizar el entrenamiento del modelo, querrás automatizar la validación y la implementación. La automatización de las implementaciones distribuye la responsabilidad y reduce la probabilidad de que una sola persona genere un cuello de botella en una implementación. También reduce los posibles errores, aumenta la eficiencia y la confiabilidad, y permite las rotaciones de guardia y la asistencia de SRE.

Por lo general, implementas modelos nuevos para un subconjunto de usuarios y verificas que el modelo se comporte como se espera. Si es así, continúa con la implementación. Si no es así, revierte la implementación y comienza a diagnosticar y depurar los problemas.