Die Qualität und Zuverlässigkeit Ihres Prompts ist entscheidend, wenn Sie die Prompt API implementieren.
Um die Qualität Ihres Prompts zu bewerten, sollten Sie eine umfassende Reihe von Eingaben und erwarteten Ausgaben für Ihren Anwendungsfall entwickeln.
Um zu prüfen, ob Ihr Prompt mit jeder Gemini Nano-Modellversion Ihren Qualitätsanforderungen entspricht, empfehlen wir den folgenden Workflow:
- Führen Sie das Bewertungs-Dataset aus und zeichnen Sie die Ausgaben auf.
- Bewerten Sie die Ergebnisse manuell oder verwenden Sie LLM-as-a-judge.
- Wenn die Auswertung nicht Ihren Qualitätsanforderungen entspricht, müssen Sie den Prompt überarbeiten. Sie können beispielsweise ein leistungsstärkeres LLM wie Gemini Pro bitten, den Prompt basierend auf der gewünschten Ausgabe im Vergleich zur tatsächlichen Ausgabe zu verbessern.
Prompt Engineering steigert die Aufgabenleistung und es ist wichtig, Ihre Prompts zu optimieren. Wir empfehlen, die oben genannten Schritte mindestens drei- bis fünfmal zu wiederholen. Dieser Ansatz hat jedoch Grenzen, da Optimierungen irgendwann nur noch geringe Verbesserungen bringen.
Alternativ können Sie den datengesteuerten Optimierer verwenden, um Prompts schnell und in großem Umfang zu optimieren. Dieser kann auf On-Device-Modelle wie gemma-3n-e4b-it ausgerichtet werden.
Sicherheit
Damit Gemini Nano sichere Ergebnisse für Nutzer zurückgibt, werden mehrere Schutzebenen implementiert, um schädliche oder unbeabsichtigte Ergebnisse zu begrenzen:
- Native Modellsicherheit: Alle Gemini-Modelle, einschließlich Gemini Nano, wurden standardmäßig auf Sicherheit trainiert. Das bedeutet, dass Sicherheitsabwägungen bereits im Kern des Modells verbaut sind und sofort zum Einsatz kommen – nicht erst nachträglich.
- Sicherheitsfilter für Eingabe und Ausgabe: Sowohl der Eingabe-Prompt als auch die von der Gemini Nano-Laufzeit generierten Ergebnisse werden anhand unserer Sicherheitsfilter bewertet, bevor die Ergebnisse an die App weitergegeben werden. So wird verhindert, dass unsichere Inhalte durchrutschen, ohne dass die Qualität darunter leidet.
Da jedoch jede App eigene Kriterien dafür hat, was als sichere Inhalte für Nutzer gilt, sollten Sie die Sicherheitsrisiken für den spezifischen Anwendungsfall Ihrer App bewerten und entsprechende Tests durchführen.
Zusätzliche Ressourcen
- Wie gut ist Ihre KI? Bewertung generativer KI in jeder Phase – Ein Blogpost, in dem beschrieben wird, wie Sie den Gen AI Evaluation Service verwenden.
- Übersicht über den Gen AI Evaluation Service: In dieser Dokumentation wird beschrieben, wie Sie generative KI-Modelle bewerten, um Aufgaben wie Modellvergleiche, Prompt-Optimierung und Feinabstimmung zu unterstützen.
- Berechnungsbasierte Bewertungspipeline ausführen – Dokumentation zur Bewertung der Modellleistung.