このページでは、ジェネレーティブ AI の用語集について説明します。すべての用語集の用語については、こちらをクリックしてください。
A
自己回帰モデル
過去の予測に基づいて予測を推測するモデルmodel。たとえば、自己回帰型言語モデルは、以前に予測したトークンに基づいて次のトークンを予測します。Transformer ベースの大規模言語モデルはすべて自己回帰型です。
一方、GAN ベースの画像モデルは通常、単一のフォワードパスで画像を生成し、ステップで反復的に生成しないため、自己回帰的ではありません。ただし、特定の画像生成モデルは、画像を段階的に生成するため、自己回帰型です。
C
思考の連鎖プロンプト
大規模言語モデル（LLM）によってその根拠を段階的に説明できるようにするプロンプト エンジニアリング手法。たとえば、2 番目の文に特に注意を払って、次のプロンプトについて考えてみましょう。
車で、時速 0 ～ 60 マイルを 7 秒間で加速させる力はいくつになるでしょうか。解答の中に、関連するすべての計算を示してください。
LLM の回答は次のようになります。
- 一連の物理数式を示し、適切な場所に値 0、60、7 を挿入します。
- それらの数式が選ばれた理由と、さまざまな変数が何を意味するのかを説明します。
チェーン オブ ミス（思考の連鎖）プロンプトにより、LLM にすべての計算を行わせることで、より正確な答えを導き出すことができます。また、思考チェーンプロンプトにより、ユーザーは LLM の手順を調べて、回答が理にかなっているかどうかを判断できます。
D
ダイレクト プロンプト
ゼロショット プロンプトと同義。
での精製
1 つのモデルmodel（教師model）のサイズを小さなモデル（生徒model）に縮小し、元のモデルの予測を可能な限り忠実にエミュレートするプロセス。大規模なモデル（教師）と比べて、小規模なモデルには 2 つの重要なメリットがあります。
- 推論時間が短縮される
- メモリとエネルギー使用量の削減
しかし、学生の予測は教師の予測ほど良好ではありません。
抽出では、生徒モデルと教師モデルの予測出力の差異に基づいて損失関数を最小限に抑えるよう、生徒モデルをトレーニングします。
抽出を以下の用語と比較しましょう。
F
少数ショット プロンプト
大規模言語モデルの応答方法を示す複数（一部）の例を含むプロンプト。たとえば、次の長いプロンプトには、大規模言語モデルでクエリに応答する方法を示す 2 つの例が含まれています。
| 1 つのプロンプトの一部 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| フランス: EUR | 1 つの例です。 |
| 英国: GBP | 別の例です。 |
| インド: | 実際のクエリ。 |
一般的に、少数ショット プロンプトは、ゼロショット プロンプトやワンショット プロンプトよりも望ましい結果を生成します。ただし、少数ショット プロンプトには長いプロンプトが必要です。
少数ショット プロンプトは、プロンプト ベースの学習に適用される少数ショット学習の一種です。
微調整
2 つ目のタスク固有のトレーニング パス。特定のユースケースに合わせてパラメータを調整するために、事前トレーニング済みモデルに対して実行します。たとえば、一部の大規模言語モデルの完全なトレーニング シーケンスは次のようになります。
- トレーニング前: 膨大な一般的なデータセット（英語のすべての Wikipedia ページなど）で大規模言語モデルをトレーニングします。
- 微調整: 事前トレーニング済みモデルをトレーニングして、医療関連のクエリへの応答など、特定のタスクを実行します。通常、微調整では特定のタスクに焦点を当てた数百または数千の例が必要になります。
別の例として、大規模な画像モデルの完全なトレーニング シーケンスは次のようになります。
- 事前トレーニング: Wikimedia Commons のすべての画像など、非常に一般的な画像データセットで大規模画像モデルをトレーニングします。
- 微調整: 事前トレーニング済みモデルをトレーニングして、シャチの画像の生成など、特定のタスクを実行します。
微調整では、以下の戦略を任意に組み合わせて実行できます。
- 事前トレーニング済みモデルの既存のパラメータをすべて変更する。これは「完全な微調整」とも呼ばれます。
- 事前トレーニング済みモデルの既存のパラメータの一部（通常は出力レイヤに最も近いレイヤ）のみを変更し、その他の既存のパラメータ（通常は入力レイヤに最も近いレイヤ）は変更しない。パラメータ効率の高い調整をご覧ください。
- レイヤを追加する。通常は、出力レイヤに最も近い既存のレイヤの上に追加します。
微調整は転移学習の一種です。そのため、微調整では、事前トレーニング済みモデルのトレーニングに使用したものとは異なる損失関数や異なるモデルタイプが使用される場合があります。たとえば、事前トレーニング済みの大規模画像モデルを微調整して、入力画像内の鳥の数を返す回帰モデルを生成できます。
微調整を以下の用語と比較しましょう。
G
生成 AI
正式な定義のない新たな変革の分野。とはいえ、ほとんどの専門家は、ジェネレーティブ AI モデルは以下の内容をすべて作成（「生成」）できると考えています。
- 複雑
- 一貫性のある
- オリジナル
たとえば、ジェネレーティブ AI モデルは洗練されたエッセイや画像を作成できます。
LSTM や RNN などの以前の一部の技術でも、オリジナルで一貫性のあるコンテンツを生成できます。こうした初期のテクノロジーをジェネレーティブ AI とみなす専門家もいれば、真のジェネレーティブ AI には、以前のテクノロジーで生成できるよりも複雑な出力が必要だと考える専門家もいます。
予測 ML と比較する。
I
コンテキスト内の学習
少数ショット プロンプトと同義。
指示の調整
ジェネレーティブ AI をモデルの指示に従う能力を向上させる、微調整の一形態。指示調整では、一連の指示プロンプトでモデルをトレーニングします。通常、このプロンプトは幅広いタスクに対応しています。結果として得られる命令調整モデルは、さまざまなタスクでゼロショット プロンプトに対する有用なレスポンスを生成する傾向があります。
以下を比較対照してください。
O
ワンショット プロンプト
プロンプト。大規模言語モデルの応答方法を示す 1 つの例が含まれています。たとえば、次のプロンプトには、大規模言語モデルがどのようにクエリに応答するかを示す一例が含まれています。
| 1 つのプロンプトの一部 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| フランス: EUR | 1 つの例です。 |
| インド: | 実際のクエリ。 |
ワンショット プロンプトを以下の用語と比較しましょう。
P
パラメータ効率調整
大規模な事前トレーニング済み言語モデル（PLM）を完全な微調整よりも効率的に微調整するための一連の手法。通常、パラメータ効率の調整で微調整を行うパラメータは完全な微調整よりもはるかに少なくなりますが、生成される大規模言語モデルは、完全な微調整から構築された大規模言語モデルと同等またはほぼ同等のパフォーマンスを発揮します。
パラメータ効率の高い調整と以下を比較対照してください。
パラメータ効率調整は、パラメータ効率調整ともいいます。
PLM
事前トレーニング済み言語モデルの略語。
事前トレーニング済みモデル
すでにトレーニングされているモデルまたはモデル コンポーネント（エンベディング ベクトルなど）。事前トレーニング済みのエンベディング ベクトルをニューラル ネットワークにフィードする場合もあります。また、モデルは、事前トレーニング済みのエンベディングに依存せずに、エンベディング ベクトル自体をトレーニングします。
事前トレーニング済み言語モデルという用語は、事前トレーニングが行われた大規模言語モデルを指します。
トレーニング前
大規模なデータセットでのモデルの初期トレーニング。事前トレーニング済みのモデルの中には、うまく機能しないものがあり、通常は追加のトレーニングで改良する必要があります。たとえば、ML の専門家は、Wikipedia のすべての英語ページなど、膨大なテキスト データセットで大規模言語モデルを事前トレーニングできます。事前トレーニングの後、次のいずれかの手法でモデルをさらに絞り込むことができます。
- 精製
- 微調整
- 指示の調整
- パラメータ効率の高い調整
- プロンプト調整
prompt
大規模言語モデルに入力として入力されたテキスト。モデルが特定の動作をするように条件付けされます。プロンプトは、フレーズのように短くすることも、任意の長さ（小説のテキスト全体など）にすることもできます。プロンプトは、次の表のように複数のカテゴリに分類されます。
| プロンプトのカテゴリ | 例 | メモ |
|---|---|---|
| 問題 | ハトはどれくらいの速さで飛ぶことができる？ | |
| 手順 | アービトラージについての面白い詩を書いて。 | 大規模言語モデルに何かを行うよう求めるプロンプト。 |
| 例 | Markdown コードを HTML に変換します。例:
Markdown: * list item HTML: <ul> <li>list item</li> </ul> |
この例のプロンプトの最初の文は「指示」です。プロンプトの残りの部分は例です。 |
| ロール | 物理学の博士号を取得するための機械学習のトレーニングで勾配降下法が使用される理由を説明する。 | 文の最初の部分は指示です。「to a PhD in Physics」というフレーズがロール部分です。 |
| モデルを完成させるための部分入力 | 英国の首相の | 部分入力プロンプトは、（この例のように）突然終了することも、アンダースコアで終了することもできます。 |
ジェネレーティブ AI モデルは、テキスト、コード、画像、エンベディング、動画など、ほぼすべての内容でプロンプトに応答できます。
プロンプトベースの学習
任意のテキスト入力に応じて動作を調整できるようにする、特定のモデルの機能（プロンプト）。一般的なプロンプト ベースの学習パラダイムでは、大規模言語モデルがプロンプトに応答してテキストを生成します。たとえば、ユーザーが次のプロンプトを入力したとします。
ニュートンの運動の第 3 法則を要約する。
プロンプト ベースの学習が可能なモデルは、以前のプロンプトに応答するように特にトレーニングされていません。むしろ、このモデルは、物理学に関する多くの事実、一般的な言語のルールについて多く、そして一般的に有用な答えを構成するものについて多く「認識」しています。その知識があれば、有用な答えを提供できるはずです。プロンプト ベースの学習システムでは、人間による追加のフィードバック（「その答えが複雑すぎました」や「リアクションとは？」など）を追加することで、回答の有用性を徐々に高めることができます。
プロンプト設計
プロンプト エンジニアリングと同義。
プロンプト エンジニアリング
大規模言語モデルから目的のレスポンスを引き出すプロンプトを作成する技術。プロンプト エンジニアリングは人間が行います。適切に構造化されたプロンプトを作成することは、大規模言語モデルから有用なレスポンスを得るうえで欠かせません。プロンプト エンジニアリングは、次のようなさまざまな要因に左右されます。
有用なプロンプトの作成について詳しくは、プロンプト設計の概要をご覧ください。
プロンプト設計はプロンプト エンジニアリングと同義です。
プロンプト調整
パラメータ効率の高い調整のメカニズム。システムが実際のプロンプトの先頭に付加する「プレフィックス」を学習します。
プロンプト調整のバリエーションの一つは、「プレフィックスの調整」とも呼ばれますが、すべてのレイヤでプレフィックスを付加することです。対照的に、ほとんどのプロンプト調整では、入力レイヤに接頭辞を追加するだけです。
R
RLHF（Reinforcement Learning from Human Feedback）
評価者からのフィードバックを使用して、モデルの回答の品質を向上させます。たとえば、RLHF メカニズムでは、モデルのレスポンスの品質を 👍? または の絵文字で評価するようユーザーに要求できます。システムは、そのフィードバックに基づいて将来のレスポンスを調整できます。
ロール プロンプト
ジェネレーティブ AI モデルのレスポンスのターゲット オーディエンスを識別するプロンプトのオプション部分。ロール プロンプトが表示されなくても、大規模言語モデルは回答を提示しますが、質問者にとって有用である場合もあれば、そうでない場合もあります。ロール プロンプトを使用すると、大規模言語モデルは、特定の対象グループに対してより適切で有用な方法で回答できます。たとえば、次のプロンプトのロール プロンプト部分は太字で表示されます。
- 経済学の博士号取得者向けの記事を要約してください。
- 10 歳の子どもの潮流の仕組みを説明する。
- 2008 年の金融危機について説明する。幼い子どもやゴールデン レトリバーのように話す。
T
温度
モデルの出力のランダム性の度合いを制御するハイパーパラメータ。温度が高いほどランダムな出力は多くなり、温度が低いほど出力は少なくなります。
最適な温度を選択できるかどうかは、特定のアプリケーションと、モデルの出力の望ましい特性によって異なります。たとえば、クリエイティブ出力を生成するアプリを作成するときに、温度を上げることが考えられます。逆に、画像またはテキストを分類するモデルを構築する場合は、モデルの精度と整合性を高めるために温度を下げることをおすすめします。
温度は softmax でよく使用されます。
Z
ゼロショット プロンプト
| 1 つのプロンプトの一部 | メモ |
|---|---|
| 指定された国の公式通貨は何ですか？ | LLM に回答してほしい質問。 |
| インド: | 実際のクエリ。 |
大規模言語モデルは次のいずれかで応答します。
- ルピー
- インドルピー
- ₹
- ルピー（インド）
- ルピー
- インド ルピー
すべての選択肢が正解ですが、特定の形式を使用したほうがよい場合もあります。
ゼロショット プロンプトを以下の用語と比較しましょう。