使用 Gemini Nano 直接存取模型時,請務必確保提示的品質和可靠性。
如要評估提示品質,請根據用途,制定一組完整的輸入內容和預期輸出內容。
如要評估提示是否符合各 Gemini Nano 模型版本的品質標準,建議採用下列工作流程:
- 執行評估資料集並記錄輸出內容。
- 手動評估結果,或使用 LLM-as-a-judge。
- 如果評估結果未達品質標準,請調整提示。舉例來說,您可以要求 Gemini Pro 等更強大的 LLM,根據預期輸出內容與實際輸出內容,改善提示。
提示工程可提升工作成效,而反覆調整提示是關鍵。建議至少重複上述步驟 3 到 5 次。請注意,這種做法有其限制,因為最佳化最終會導致報酬遞減。
或者,如要快速大規模改善提示,可以使用資料導向最佳化工具,指定 gemma-3n-e4b-it 等裝置端模型。
安全性
為確保 Gemini Nano 為使用者提供安全的結果,我們實施多層保護措施,限制有害或非預期的結果:
- 原生模型安全:所有 Gemini 模型 (包括 Gemini Nano) 都經過訓練,一開始就具備安全意識。也就是說,安全考量已融入模型核心,而非事後才加入。
- 輸入和輸出內容的安全篩選器:Gemini Nano 執行階段會先根據安全篩選器評估輸入提示和生成的結果,再將結果提供給應用程式。這有助於防止不安全的內容外洩,同時不影響品質。
不過,由於每個應用程式對使用者安全內容的定義不同,因此您應評估應用程式特定用途的安全風險,並據此進行測試。
其他資源
- AI 究竟有多厲害?生成式 AI 評估的每個階段,說明:這篇網誌文章說明如何使用 Gen AI Evaluation Service。
- Gen AI Evaluation Service 總覽:說明如何評估生成式 AI 模型,以支援模型比較、提示詞改善和微調等工作。
- 執行運算式評估管道:說明如何評估模型成效。