本頁麵包含生成式 AI 的詞彙表詞彙。如要查看所有詞彙解釋，請按這裡。
A
自動迴歸模型
「模型」model，可依據其之前的預測結果推斷預測。例如，自動迴歸語言模型會根據先前預測的符記預測下一個權杖。所有以 Transformer 為基礎的大型語言模型皆會自動迴歸。
相反地，以 GAN 為基礎的圖片模型通常不會自動迴歸，因為這會在單向傳遞作業中產生圖片，且不反覆疊代處理。不過，某些圖片產生模型「會」自動迴歸，因為這會在步驟中產生圖像。
C
資訊鏈提示
一種提示工程技術，鼓勵大型語言模型 (LLM) 逐步說明其原因。例如，考慮使用下列提示，請特別留意第二個句子：
駕駛人在 7 秒內每小時從 0 到 60 英里的車輛上行駛多少吉力？答案中會顯示所有相關計算。
LLM 的回應可能如下：
- 顯示一系列物理公式，在適當位置插入 0、60 和 7 值。
- 說明公式為何選擇了這些公式，以及各種變數的意義。
意識鏈提示會強制 LLM 執行所有計算，這可能會產生更正確的答案。此外，思考鏈提示可讓使用者檢視 LLM 的步驟，進而判斷答案是否合理。
D
直接提示
零樣本提示的同義詞。
蒸餾
將一個「模型」model (稱為「老師」model) 大小縮減為小型模型 (稱為「學生」model) 的過程，這個過程會盡可能地模仿原始模型的預測結果。蒸餾是很實用的，因為相較於大型模型 (教師)，較小的模型有兩項主要優點：
- 推論時間較短
- 降低記憶體和能源用量
然而，學生的預測結果通常不如老師的預測。
蒸餾會訓練學生模型，根據學生和老師模型的預測輸出結果差異來訓練學生模型，盡可能降低損失函式。
與下列字詞的比較和對比蒸餾：
F
少量樣本提示
內含多個 (「少數」) 範例的提示，說明瞭大型語言模型應如何回應。舉例來說，以下冗長的提示包含兩個範例，顯示如何回答查詢的大型語言模型。
| 單一提示的組成部分 | Notes |
|---|---|
| 特定國家/地區的官方貨幣為何？ | 你要讓 LLM 回答的問題。 |
| 法國：歐元 | 例如 |
| 英國：GBP | 再舉一例， |
| 印度： | 實際的查詢。 |
相較於零樣本提示和單一樣本提示，少量樣本提示通常能產生更理想的結果。然而，少量樣本提示需要較長時間的提示。
微調
在預先訓練模型上執行第二條工作專屬的訓練傳遞，藉此修正特定用途的參數。舉例來說，部分大型語言模型的完整訓練序列如下：
- 預先訓練：針對龐大的一般資料集 (例如所有英文維基百科頁面) 訓練大型語言模型。
- 微調：訓練預先訓練模型來執行特定工作，例如回應醫療查詢。微調通常會涉及數百或數千個以特定工作為主的範例。
再舉一個例子，大型圖片模型的完整訓練序列如下：
- 預先訓練：根據龐大的「一般」圖片資料集訓練大型圖片模型，例如 Wikimedia 常見問題中的所有圖片。
- 微調：訓練預先訓練模型來執行特定工作，例如產生虎鯨的圖片。
微調可涵蓋下列任何策略的組合：
- 修改「所有」預先訓練模型的現有參數。這種做法有時稱為「完整微調」。
- 只修改「部分」預先訓練模型的現有參數 (通常是最靠近輸出層的圖層)，同時保留其他現有的參數 (通常是最靠近輸入層的圖層)。請參閱「具參數運用效率的調整」一節。
- 新增更多圖層，通常位於最靠近輸出層的現有圖層上方。
微調是一種遷移學習形式。因此，微調可能會使用不同的損失函式，或與用來訓練預先訓練模型的模型類型不同。例如，您可以微調預先訓練的大型圖片模型，產生迴歸模型，藉此傳回輸入圖片中的鳥類數量。
比較及對照下列字詞的微調設定：
G
生成式 AI
沒有正式定義的新興變革領域。話雖如此，多數專家也認為生成式 AI 模型能夠建立 (「產生」) 內容具有以下特質：
- 複雜
- Coherent
- 原始圖片
舉例來說，生成式 AI 模型可以建立複雜論文或圖片，
部分早期技術 (包括 LSTM 和 RNN) 也可能會產生原創且一致的內容。有些專家認為這些早期技術是生成式 AI，有些專家則認為，真正的生成式 AI 的輸出結果會比早期技術產生的複雜性更高。
與預測式機器學習相反。
I
情境學習
少量樣本提示的同義詞。
操作說明調整
一種微調功能，改善生成式 AI 模型遵循操作說明的能力。操作說明調整包括依據一系列的指令提示訓練模型，通常涵蓋各種工作。然後，產生的指令調整模型通常會針對各種工作產生零樣本提示的有用回應。
比較及對比：
O
一次性提示
這個提示內含一個範例，說明大型語言模型應如何回應。舉例來說，下列提示包含一個範例，其中顯示一個大型語言模型應如何回答查詢。
| 單一提示的組成部分 | Notes |
|---|---|
| 特定國家/地區的官方貨幣為何？ | 你要讓 LLM 回答的問題。 |
| 法國：歐元 | 例如 |
| 印度： | 實際的查詢。 |
比較下列字詞和「一次性提示」：
P
具參數運用效率的調整機制
相較於全面微調，能夠更有效率地微調大型預先訓練語言模型 (PLM) 的技術。相較於完整微調功能，具備參數效率的調整通常能微調許多參數，但一般會產生大型語言模型，效能也同樣優於透過完整微調建構的大型語言模型。
比較具參數運用效率的調整與以下何者進行比較：
「具參數運用效率的調整」又稱為「高效參數調整」。
波蘭茲羅提
預先訓練模型的縮寫。
預先訓練模型
已經過訓練的模型或模型元件 (例如嵌入向量)。 有時候，您必須將預先訓練的嵌入向量饋送到類神經網路中。有時候，模型會自行訓練嵌入向量，而不是依賴預先訓練的嵌入。
「預先訓練的語言模型」一詞是指已完成預先訓練的大型語言模型。
預先訓練
大型資料集上的模型初始訓練。部分預先訓練模型是笨拙的巨人，通常必須透過額外訓練進行修正。舉例來說，機器學習專家可能會針對大型文字資料集 (例如維基百科中的所有英文頁面) 預先訓練大型語言模型。預先訓練之後，您可以透過下列任一技巧進一步修正產生的模型：
提示
輸入至大型語言模型的文字內容，藉此讓模型以特定方式執行特定行為。提示可以短於詞組或任意長度 (例如小說的整個文字)。提示可分為多個類別，其中包括下表：
| 提示類別 | 範例 | Notes |
|---|---|---|
| 問題 | 鴿子有多快？ | |
| 教學 | 撰寫關於套利的趣味詩。 | 要求大型語言模型「執行」某些動作的提示。 |
| 範例 | 將 Markdown 程式碼轉譯為 HTML。例如：
Markdown：* 清單項目 HTML：<ul> <li>清單項目</li> </ul> |
這個範例提示的第一個句子即為指示。提示的其餘部分就是範例。 |
| 角色 | 說明為何在機器學習訓練中使用梯度下降法，進而達到物理學的博士學位。 | 語句的第一部分是指示，「物理學博士」一詞則為角色的部分。 |
| 模型的部分輸入內容 | 英國總理居住在 | 部分輸入提示可以突然 (與本範例相同) 或以底線結尾。 |
生成式 AI 模型可使用文字、程式碼、圖片、嵌入、影片等方式回應提示，
學習提示
特定模型的功能，可讓模型根據任意文字輸入內容調整行為 (提示)。在典型的提示式學習範例中，大型語言模型會透過產生文字來回應提示。舉例來說，假設使用者輸入下列提示：
概述牛頓第三次運動定律。
能夠即時回答上述提示的模型並未經過特別訓練。相反地，該模型可「瞭解」許多有關物理的事實、廣泛有關一般語言規則，以及能構成一般實用答案的許多資訊。而該知識足以提供 (希望) 實用的答案。「這個答案太複雜」或「什麼是反應？」的額外則可讓一些提示式學習系統逐漸改善答案的實用性。
提示設計
提示工程的同義詞。
提示工程
建立提示，從大型語言模型激發所需回應的秘訣。人類會執行快速工程為確保來自大型語言模型的實用回應，撰寫結構完善的提示相當重要。提示工程取決於許多因素，包括：
如要進一步瞭解如何編寫實用提示，請參閱「提示設計簡介」。
提示調整
參數效率調整機制，學習系統在實際提示前面加上的「前置字串」。
提示調整的一種變化版本 (有時稱為「前置字串調整」) 是在「每個圖層」前面加上前置字串。相較之下，多數提示調整功能只會在輸入層中加入前置字串。
R
透過使用者意見回饋來強化學習 (RLHF)
透過評估人員的意見回饋改善模型回覆品質。 舉例來說，RLHF 機制可以要求使用者使用 👍? 或 👎? 表情符號為模型回應品質評分。系統隨後會根據這些意見調整日後的回應。
角色提示
提示的選用部分，用於識別生成式 AI 模型的回應目標對象。沒有角色提示時，大型語言模型提供的答案不一定對提問者來說是否實用。「藉由」角色提示，大型語言模型能以更適合特定目標對象且更實用的方式做出回應。舉例來說，下列提示的角色提示部分會以粗體顯示：
- 請概述經濟學博士的這篇文章。
- 描述 10 歲以下的潮胎運作方式。
- 說明 2008 年的財務危機。像幼兒或黃金獵犬一樣
T
溫度
控制模型輸出隨機度量的「超參數」。溫度越高，隨機輸出的次數就越多，而隨機性越低則產生較少隨機輸出。
要選擇最佳溫度，取決於特定應用程式及模型輸出內容的所需屬性。舉例來說，您可能在建立用於產生廣告素材輸出內容的應用程式時調高溫度。相反地，在建構可將圖片或文字分類的模型時，建議您降低溫度，以改善模型的準確率與一致性。
溫度經常與 softmax 搭配使用。
Z
零樣本提示
| 單一提示的組成部分 | Notes |
|---|---|
| 特定國家/地區的官方貨幣為何？ | 你要讓 LLM 回答的問題。 |
| 印度： | 實際的查詢。 |
大型語言模型可能會回應下列任一項目：
- 盧比符號
- INR
- ₹
- 印度盧比
- 盧比
- 印度盧比
所有答案都正確，但您可能會想選用特定的格式。
比較零樣本提示和下列字詞：