プロンプトの品質を評価する

Gemini Nano で直接モデルアクセスを使用する場合は、プロンプトの品質と信頼性を確保することが重要です。

プロンプトの品質を評価するには、ユースケースの入力と想定される出力の包括的なセットを開発する必要があります。

プロンプトが各 Gemini Nano モデル バージョンの品質基準を満たしているかどうかを評価するには、次のワークフローをおすすめします。

  1. 評価データセットを実行し、出力を記録します。
  2. 結果を手動で評価するか、LLM-as-a-judge を使用します。
    1. 評価が品質基準を満たしていない場合は、プロンプトを繰り返し調整します。たとえば、Gemini Pro などのより強力な LLM に、目的の出力と実際の出力に基づいてプロンプトを改善するようリクエストします。

プロンプト エンジニアリングはタスクのパフォーマンスを向上させます。プロンプトを繰り返し調整することが重要です。上記のステップを少なくとも 3 ～ 5 回繰り返すことをおすすめします。このアプローチには限界があります。最適化を続けても、最終的には収益が減少します。

または、プロンプトを大規模かつ迅速に改善するには、データドリブン オプティマイザーを使用します。これは、gemma-3n-e4b-it などのオンデバイス モデルをターゲットにできます。

安全性

Gemini Nano がユーザーに安全な結果を返すように、有害な結果や意図しない結果を制限するために、複数の保護レイヤが実装されています。

  • ネイティブ モデルの安全性: Gemini Nano を含むすべての Gemini モデルは、最初から安全性を意識するようにトレーニングされています。つまり、安全性に関する考慮事項は、後から追加されるのではなく、モデルのコアに組み込まれています。
  • 入力と出力の安全フィルタ: Gemini Nano ランタイムによって生成された入力プロンプトと結果は、結果がアプリに提供される前に、安全フィルタと照合して評価されます。これにより、品質を損なうことなく、安全でないコンテンツがすり抜けるのを防ぐことができます。

ただし、ユーザーにとって安全なコンテンツの基準はアプリごとに異なるため、アプリの特定のユースケースにおける安全性のリスクを評価し、それに応じてテストする必要があります。

参考情報