訓練類神經網路
透過集合功能整理內容
你可以依據偏好儲存及分類內容。
反向傳播是類神經網路最常見的訓練演算法,因此,梯度下降法可用於多層類神經網路。TensorFlow 會自動處理反向傳播,因此您不需要深入瞭解演算法。如要瞭解運作方式,請參閱反向傳播演算法視覺化說明一文。捲動查看上述說明時,請注意下列事項:
- 資料在圖表中的流動方式。
- 動態程式設計可讓我們避免在圖表中計算大量路徑。這裡的「動態程式設計」只是用來記錄正向和反向傳遞的中繼結果。
訓練類神經網
Backprop:必學知識
- 梯度很重要
- 漸層會消失
- 每增加一個資料層,就能連續地減少信號和雜訊
- ReLus 很實用
Backprop:必學知識
- 梯度很重要
- 漸層會消失
- 每增加一個資料層,就能連續地減少信號和雜訊
- ReLus 很實用
- 梯度可能會爆炸
- 學習率十分重要
- 批次正規化 (實用的 Knob) 有助於
Backprop:必學知識
- 梯度很重要
- 漸層會消失
- 每增加一個資料層,就能連續地減少信號和雜訊
- ReLus 很實用
- 梯度可能會爆炸
- 學習率十分重要
- 批次正規化 (實用的 Knob) 有助於
- ReLu 層好壞
正規化特徵值
- 我們希望我們的功能可以合理調整
- 相當適合以零為中心,[-1, 1] 的距離範圍通常都不錯
- 協助梯度下降法收斂;避免 NaN 陷阱
- 避免使用離群值也有幫助
- 可使用一些標準方法:
- 線性調整
- 硬上限 (裁剪) 到最大值、最小值
- 記錄檔資源調度
丟棄標準
- Dropout:另一種正規化形式,適用於 NN
- 透過在單一漸層步驟中隨機「捨棄」單元的運作方式
- 退出程度越高,正規化強度越強
- 0.0 = 未正規化
- 1.0 = 丟掉所有東西!毫無學習。
- 中值更為實用
除非另有註明,否則本頁面中的內容是採用創用 CC 姓名標示 4.0 授權,程式碼範例則為阿帕契 2.0 授權。詳情請參閱《Google Developers 網站政策》。Java 是 Oracle 和/或其關聯企業的註冊商標。
上次更新時間:2023-12-02 (世界標準時間)。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"缺少我需要的資訊"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"過於複雜/步驟過多"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"過時"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻譯問題"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"示例/程式碼問題"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"其他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"容易理解"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"確實解決了我的問題"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"其他"
}]