多類別類神經網路

您之前有遇到二元分類模型,可以在兩個可能的選擇中選擇,例如:

  • 系統不會將特定電子郵件判定為垃圾郵件,
  • 特定結果為惡意情緒或良性。

在本單元中,我們會調查多類別分類,可以從多種可能性中進行選擇。例如:

  • 這隻狗是小兔子,還是一張獵犬或血獵犬?
  • 這朵花是西伯利亞鳶尾花、荷蘭式鳶尾花、藍旗鳶尾花或矮人鳶尾花?
  • 這個飛機是波音 747、Airbus 320、Boeing 777 或 Embraer 190 嗎?
  • 這是蘋果、熊、糖果、狗或蛋的圖片嗎?

有些真實的多類別問題需要從數百萬個不同的類別中選擇。例如,假設某個類別分類模型可以識別幾乎任何地方的圖片。

多類別類神經網路

  • 邏輯迴歸可以為二進位類別的問題提供實用的機率。
    • 垃圾郵件數 / 非垃圾郵件數
    • 點擊 / 非點擊
  • 多類別問題呢?
    • 蘋果, 香蕉, 汽車, 心臟科醫師, ..., 路標, 斑馬, 動物園
    • 紅色、橘色、黃色、綠色、藍色、Indigo、暴力
    • 動物、蔬菜、礦物
  • 為每個可能的類別建立不重複的輸出內容
  • 根據「我的課程」信號和「所有其他類別」的信號訓練
  • 可在深度網路或個別模型中執行
包含五個隱藏層和五個輸出層的類神經網路。
  • 新增其他限制:要求所有 one-vs-all 節點的總和為 1.0
  • 這項額外限制可協助訓練快速地融合
  • 此外,系統也能將輸出內容解讀為機率
深層類神經網路,含有輸入層、兩個非解碼隱藏層、Softmax 層,以及最終與節點和 Softmax 層數量相同的輸出層。
  • 多類別、單一標籤分類:
    • 例如,只能有一個類別的成員。
    • 限制互斥類別是很實用的結構。
    • 有助於編碼損失。
    • 針對所有可能的類別,使用一個 softmax 損失。
  • 多類別、多標籤分類:
    • 舉例來說,可以是多個類別的成員。
    • 利用類別成員資格限制。
    • 每個可能的類別都有一個邏輯迴歸損失。
  • Full SoftMax
    • 強力;代表所有類別。
  • Full SoftMax
    • 強力;代表所有類別。
  • 候選人取樣
    • 計算所有正數標籤時,僅用於隨機的負值取樣。