Garantire la qualità e l'affidabilità del prompt è fondamentale quando implementi l'API Prompt.
Per valutare la qualità del prompt, devi sviluppare un insieme completo di input e output previsti per il tuo caso d'uso.
Per valutare se il prompt soddisfa i tuoi standard di qualità con ogni versione del modello Gemini Nano, ti consigliamo il seguente flusso di lavoro:
- Esegui il set di dati di valutazione e registra gli output.
- Valuta i risultati manualmente o utilizza
LLM-as-a-judge.
- Se la valutazione non soddisfa i tuoi standard di qualità, itera il prompt. Ad esempio, chiedi a un LLM più potente come Gemini Pro di migliorare il prompt in base all'output desiderato rispetto all'output effettivo.
L'ingegneria dei prompt migliora il rendimento delle attività e l'iterazione dei prompt è fondamentale. Ti consigliamo di ripetere i passaggi precedenti almeno 3-5 volte. Tieni presente che questo approccio ha dei limiti, in quanto le ottimizzazioni alla fine forniranno rendimenti decrescenti.
In alternativa, per migliorare rapidamente i prompt su larga scala, puoi utilizzare lo
strumento di ottimizzazione basato sui dati, che può scegliere come target modelli sul dispositivo come
gemma-3n-e4b-it.
Sicurezza
Per garantire che Gemini Nano restituisca risultati sicuri per gli utenti, vengono implementati più livelli di protezione per limitare i risultati dannosi o non intenzionali:
- Sicurezza del modello nativo: tutti i modelli Gemini, incluso Gemini Nano, sono addestrati per essere consapevoli della sicurezza fin da subito. Ciò significa che le considerazioni sulla sicurezza sono integrate nel nucleo del modello, non aggiunte in un secondo momento.
- Filtri di sicurezza su input e output: sia il prompt di input che i risultati generati dal runtime di Gemini Nano vengono valutati in base ai nostri filtri di sicurezza prima di fornire i risultati all'app. Ciò contribuisce a impedire che contenuti non sicuri vengano visualizzati, senza alcuna perdita di qualità.
Tuttavia, poiché ogni app ha i propri criteri per ciò che viene considerato contenuto sicuro per gli utenti, devi valutare i rischi per la sicurezza per il caso d'uso specifico della tua app e testare di conseguenza.
Risorse aggiuntive
- Quanto è buona la tua AI? Valutazione dell'AI generativa in ogni fase, spiegata: un post del blog che descrive come utilizzare il servizio di valutazione dell'AI generativa.
- Panoramica del servizio di valutazione dell'AI generativa: documentazione che descrive come valutare i modelli di AI generativa per supportare attività come il confronto tra modelli, il miglioramento dei prompt e l'ottimizzazione.
- Esegui una pipeline di valutazione basata sul calcolo: documentazione su come valutare le prestazioni del modello.