類神經網路

您可以前往 功能交叉練習 「類別資料模組」 下列分類問題屬於非線性:

圖 1. 笛卡兒座標平面,分為四個象限,每個象限都填入形狀類似正方的隨機點。右上角和左下方的圓點都是藍色的
      左上角和右下方的象限處都是橘色
圖 1:非線性分類問題。線性函式不得 將所有藍點和橘色點分開。

「非線性」意味著您無法 \(b + w_1x_1 + w_2x_2\)格式的模型。換句話說,「決策面」並非一條線。

不過,如果我們對 $x_1$ 和 $x_2$ 功能進行交叉比對, 然後使用 線性模型: $b + w_1x_1 + w_2x_2 + w_3x_3$,其中 $x_3$ 是 $x_1$ 和 $x_2$:

圖 2:與圖 1 相同的笛卡兒座標平面,其中有藍色和橘色點。不過,這次的白色雙曲曲線
      繪製在格線上的方格上方,將右上方的藍點分隔開來
      以及左下角象限 (現在以藍色背景標示),
      左上角和右下方的象限處的橘色圓點 (現在
      中間有橘色背景)。
圖 2 透過新增特徵交叉 x1x2,線性模型就能學習超曲線形狀,將藍點與橘點分開。

現在請考慮下列資料集:

圖 3. 笛卡兒座標平面,分為四個象限。從
      圖表,周圍則是橘色的點環。
圖 3. 更難的非線性分類問題。

您也可以從功能交叉練習中複習 判斷正確的特徵會交錯組合,以符合此資料的線性模型 花了不少工夫和實驗

但如果您不必親自進行所有實驗,又該怎麼辦呢?類神經網路是一組模型架構,旨在找出資料中的非線性模式。在訓練神經網路的過程中,模型會自動學習在輸入資料上執行的最佳特徵交叉,以盡量減少損失。

在以下各節中,我們會進一步說明類神經網路的運作方式。