Évaluer la qualité des requêtes

Il est essentiel de garantir la qualité et la fiabilité de votre requête lorsque vous utilisez l'accès direct au modèle avec Gemini Nano.

Pour évaluer la qualité de votre requête, vous devez développer un ensemble complet d'entrées et de sorties attendues pour votre cas d'utilisation.

Pour évaluer si votre requête répond à vos exigences de qualité avec chaque version du modèle Gemini Nano, nous vous recommandons de suivre le workflow suivant :

  1. Exécutez votre ensemble de données d'évaluation et enregistrez les résultats.
  2. Évaluez les résultats manuellement ou utilisez LLM-as-a-judge.
    1. Si l'évaluation ne répond pas à vos exigences de qualité, modifiez votre prompt. Par exemple, demandez à un LLM plus puissant, tel que Gemini Pro, d'améliorer le prompt en fonction du résultat souhaité par rapport au résultat réel.

Le prompt engineering améliore les performances des tâches, et il est essentiel d'itérer sur vos prompts. Nous vous recommandons d'effectuer au moins trois à cinq itérations des étapes ci-dessus. Notez que cette approche a ses limites, car les optimisations finiront par offrir des rendements décroissants.

Pour améliorer rapidement les prompts à grande échelle, vous pouvez également utiliser l'optimiseur basé sur les données, qui peut cibler des modèles sur l'appareil tels que gemma-3n-e4b-it.

Sécurité

Pour s'assurer que Gemini Nano renvoie des résultats sûrs aux utilisateurs, plusieurs couches de protection sont mises en œuvre pour limiter les résultats nuisibles ou involontaires :

  • La sécurité des modèles est native : tous les modèles Gemini, y compris Gemini Nano, sont entraînés pour fonctionner de façon sûre dès la première utilisation. Cela signifie que les considérations de sécurité sont intégrées au cœur du modèle, et non pas ajoutées après coup.
  • Filtres de sécurité sur l'entrée et la sortie : la requête d'entrée et les résultats générés par l'environnement d'exécution Gemini Nano sont évalués par rapport à nos filtres de sécurité avant que les résultats ne soient fournis à l'application. Cela permet d'éviter que du contenu dangereux ne passe entre les mailles du filet, sans aucune perte de qualité.

Toutefois, comme chaque application a ses propres critères pour déterminer ce qui est considéré comme du contenu sûr pour les utilisateurs, vous devez évaluer les risques de sécurité pour le cas d'utilisation spécifique de votre application et effectuer des tests en conséquence.

Ressources supplémentaires