Garantire la qualità e l'affidabilità del prompt è fondamentale quando utilizzi l'accesso diretto al modello con Gemini Nano.
Per valutare la qualità dei prompt, devi sviluppare un insieme completo di input e output previsti per il tuo caso d'uso.
Per valutare se il prompt soddisfa i tuoi standard di qualità con ogni versione del modello Gemini Nano, ti consigliamo il seguente workflow:
- Esegui il set di dati di valutazione e registra gli output.
- Valuta i risultati manualmente o utilizza LLM-as-a-judge.
- Se la valutazione non soddisfa i tuoi standard di qualità, esegui l'iterazione del prompt. Ad esempio, chiedi a un LLM più potente come Gemini Pro di migliorare il prompt in base all'output desiderato rispetto all'output effettivo.
Il prompt engineering migliora le prestazioni delle attività e l'iterazione dei prompt è fondamentale. Ti consigliamo di eseguire almeno 3-5 iterazioni dei passaggi precedenti. Tieni presente che questo approccio ha dei limiti, in quanto le ottimizzazioni alla fine forniranno rendimenti decrescenti.
In alternativa, per migliorare i prompt rapidamente su larga scala, puoi utilizzare l'ottimizzatore basato sui dati, che può scegliere come target modelli on-device come gemma-3n-e4b-it.
Sicurezza
Per garantire che Gemini Nano restituisca risultati sicuri per gli utenti, vengono implementati più livelli di protezione per limitare i risultati dannosi o indesiderati:
- Sicurezza nativa del modello: tutti i modelli Gemini, incluso Gemini Nano, sono addestrati per essere consapevoli della sicurezza fin dall'inizio. Ciò significa che le considerazioni sulla sicurezza sono integrate nel nucleo del modello, non solo aggiunte come ripensamento.
- Filtri di sicurezza su input e output: sia il prompt di input sia i risultati generati dal runtime di Gemini Nano vengono valutati in base ai nostri filtri di sicurezza prima di fornire i risultati all'app. In questo modo, si evita che contenuti non sicuri sfuggano, senza alcuna perdita di qualità.
Tuttavia, poiché ogni app ha i propri criteri per ciò che è considerato contenuto sicuro per gli utenti, devi valutare i rischi per la sicurezza per il caso d'uso specifico della tua app ed eseguire i test di conseguenza.
Risorse aggiuntive
- Quanto è buona la tua AI? Valutazione dell'AI generativa in ogni fase, explained: un blog post che descrive come utilizzare il servizio di valutazione dell'AI generativa.
- Panoramica del servizio di valutazione dell'AI generativa: documentazione che descrive come valutare i modelli di AI generativa per supportare attività come i confronti dei modelli, il miglioramento dei prompt e l'ottimizzazione.
- Esegui una pipeline di valutazione basata su calcolo: documentazione su come valutare le prestazioni del modello.