Garantizar la calidad y la confiabilidad de tu instrucción es fundamental cuando implementas la API de Prompt.
Para evaluar la calidad de tus instrucciones, debes desarrollar un conjunto integral de entradas y salidas esperadas para tu caso de uso.
Para evaluar si tu instrucción cumple con tu estándar de calidad con cada versión del modelo de Gemini Nano, te recomendamos el siguiente flujo de trabajo:
- Ejecuta tu conjunto de datos de evaluación y registra los resultados.
- Evalúa los resultados manualmente o usa LLM-as-a-judge.
- Si la evaluación no cumple con tu nivel de calidad, itera tu instrucción. Por ejemplo, pídele a un LLM más potente, como Gemini Pro, que mejore la instrucción en función del resultado deseado en comparación con el resultado real.
La ingeniería de instrucciones mejora el rendimiento de las tareas, y la clave es iterar tus instrucciones. Te recomendamos que realices al menos de 3 a 5 iteraciones en los pasos anteriores. Ten en cuenta que este enfoque tiene límites, ya que las optimizaciones eventualmente proporcionarán retornos decrecientes.
Como alternativa, para mejorar las instrucciones rápidamente a gran escala, puedes usar el optimizador basado en datos, que puede segmentar modelos integrados en el dispositivo, como gemma-3n-e4b-it.
Seguridad
Para garantizar que Gemini Nano devuelva resultados seguros para los usuarios, se implementan varias capas de protección para limitar los resultados dañinos o no deseados:
- Seguridad nativa del modelo: Todos los modelos de Gemini, incluido Gemini Nano, se entrenan para tener en cuenta la seguridad de forma predeterminada. Esto significa que las consideraciones de seguridad se incorporan en el núcleo del modelo, no solo se agregan después.
- Filtros de seguridad en la entrada y la salida: Tanto la instrucción de entrada como los resultados generados por el tiempo de ejecución de Gemini Nano se evalúan en función de nuestros filtros de seguridad antes de proporcionar los resultados a la app. Esto ayuda a evitar que se filtre contenido no seguro sin pérdida de calidad.
Sin embargo, dado que cada app tiene sus propios criterios para determinar qué se considera contenido seguro para los usuarios, debes evaluar los riesgos de seguridad para el caso de uso específico de tu app y realizar las pruebas correspondientes.
Recursos adicionales
- ¿Qué tan buena es tu IA? Gen AI evaluation at every stage, explained: Entrada de blog que describe cómo usar el servicio de evaluación de IA generativa
- Descripción general del servicio de evaluación de IA generativa: Documentación que describe cómo evaluar los modelos de IA generativa para admitir tareas como comparaciones de modelos, mejora de instrucciones y ajuste.
- Ejecuta una canalización de evaluación basada en procesamiento: Documentación sobre cómo evaluar el rendimiento del modelo.