Garantizar la calidad y confiabilidad de tu instrucción es fundamental cuando usas el acceso directo al modelo con Gemini Nano.
Para evaluar la calidad de tus instrucciones, debes desarrollar un conjunto integral de entradas y salidas esperadas para tu caso de uso.
Para evaluar si tu instrucción cumple con tu estándar de calidad con cada versión del modelo de Gemini Nano, te recomendamos el siguiente flujo de trabajo:
- Ejecuta tu conjunto de datos de evaluación y registra los resultados.
- Evalúa los resultados de forma manual o usa
LLM-as-a-judge.
- Si la evaluación no cumple con tu nivel de calidad, itera en tu instrucción. Por ejemplo, pídele a un LLM más potente, como Gemini Pro, que mejore la instrucción en función del resultado deseado en comparación con el resultado real.
La ingeniería de instrucciones mejora el rendimiento de las tareas, y la iteración de las instrucciones es clave. Recomendamos realizar al menos entre 3 y 5 iteraciones de los pasos anteriores. Ten en cuenta que este enfoque tiene límites, ya que las optimizaciones, con el tiempo, proporcionarán rendimientos decrecientes.
Como alternativa, para mejorar las instrucciones rápidamente a gran escala, puedes usar el
optimizador basado en datos, que puede orientarse a modelos integrados en el dispositivo, como
gemma-3n-e4b-it.
Seguridad
Para garantizar que Gemini Nano devuelva resultados seguros para los usuarios, se implementan varias capas de protección para limitar los resultados dañinos o no deseados:
- Seguridad nativa del modelo: Todos los modelos de Gemini, incluido Gemini Nano, están entrenados para tener en cuenta la seguridad desde el primer momento. Esto significa que las consideraciones de seguridad se incorporan en el núcleo del modelo, no solo como un elemento adicional.
- Filtros de seguridad en la entrada y la salida: Tanto la instrucción de entrada como los resultados generados por el entorno de ejecución de Gemini Nano se evalúan con nuestros filtros de seguridad antes de proporcionar los resultados a la app. Esto ayuda a evitar que se filtre contenido no seguro, sin pérdida de calidad.
Sin embargo, dado que cada app tiene sus propios criterios para lo que se considera contenido seguro para los usuarios, debes evaluar los riesgos de seguridad para el caso de uso específico de tu app y realizar las pruebas correspondientes.
Recursos adicionales
- ¿Qué tan buena es tu IA? Evaluación de IA generativa en cada etapa, explicada: Una entrada de blog en la que se describe cómo usar el servicio de evaluación de IA generativa.
- Descripción general del servicio de evaluación de IA generativa: Documentación que describe cómo evaluar los modelos de IA generativa para admitir tareas como las comparaciones de modelos, la mejora de instrucciones y el ajuste.
- Ejecuta una canalización de evaluación basada en procesamiento: Documentación sobre cómo evaluar el rendimiento del modelo.