Introducción a los modelos de IA en GPUs: Cuestionario

1. ¿Cuál es la diferencia clave entre el entrenamiento y la inferencia?

   El entrenamiento solo usa el pase hacia adelante; la inferencia usa el pase hacia adelante y hacia atrás.

   El entrenamiento actualiza los pesos, mientras que la inferencia no lo hace.

   La inferencia requiere conjuntos de datos más grandes que el entrenamiento

   La inferencia siempre usa CPUs

2. ¿Qué definen principalmente los formatos de modelos?

   Índice de compresión de los registros de entrenamiento

   Cómo se serializan los pesos, los sesgos y los metadatos

   La cantidad de tokens que puede generar un modelo

   Cómo se programan las GPU

3. Los motores de TensorRT se describen mejor de la siguiente manera:

   Puntos de control portátiles para la investigación

   Formatos de intercambio independientes del proveedor

   Binarios optimizados para GPU compilados para hardware específico

   Formatos ligeros impulsados por la comunidad

4. ¿Qué hace que las GPUs sean adecuadas para la inferencia en comparación con las CPUs?

   Usan menos núcleos.

   Tienen miles de núcleos paralelos optimizados para operaciones matemáticas con matrices.

   Consumen mucha energía por núcleo.

   Pueden procesar instrucciones más diversas.

5. ¿Qué es el “punto de inflexión” en la optimización del rendimiento?

   El valor de latencia en el que se reduce la capacidad de procesamiento

   El punto en el que la capacidad de procesamiento mejora sin afectar demasiado la latencia

   La latencia observada más lenta

   La huella de memoria mínima que se puede lograr para un modelo, independientemente de las compensaciones de rendimiento

Enviar respuestas