降低损失
使用集合让一切井井有条
根据您的偏好保存内容并对其进行分类。
为了训练模型,我们需要一种降低模型损失的好方法。迭代方法是一种广泛用于减少损失的方法,而且简单高效,就像爬山一样。
降低损失
如何减少损失?
- 超参数是用于调整模型训练方式的配置设置。
- (y - y')2 相对于权重和偏差的导数可让我们了解指定样本的损失是如何变化的
- 因此,我们会反复采取一些小步
来最大限度减少损失
- 我们将这些小步称为梯度步(但它们实际上是负梯度步)
- 这种策略称为梯度下降法
权重初始化
- 对于凸形问题,权重可以从任何位置开始(例如,所有值均为 0)
权重初始化
- 对于凸形问题,权重可以从任何位置开始(例如,所有值均为 0)
- 借鉴:不适用于神经网络
- 非凸形:想象一个蛋宝箱
- 有多个最小值
- 高度依赖于初始值
SGD 和小批量梯度下降法
- 可以在每一步计算整个数据集的梯度,但事实证明没有必要这样做
- 计算小数据样本的梯度效果很好
- 随机梯度下降法:一次抽取一个样本
- 小批次梯度下降法:10-1000 作为批次
如未另行说明,那么本页面中的内容已根据知识共享署名 4.0 许可获得了许可,并且代码示例已根据 Apache 2.0 许可获得了许可。有关详情,请参阅 Google 开发者网站政策。Java 是 Oracle 和/或其关联公司的注册商标。
最后更新时间 (UTC):2023-12-02。
[{
"type": "thumb-down",
"id": "missingTheInformationINeed",
"label":"没有我需要的信息"
},{
"type": "thumb-down",
"id": "tooComplicatedTooManySteps",
"label":"太复杂/步骤太多"
},{
"type": "thumb-down",
"id": "outOfDate",
"label":"内容需要更新"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"翻译问题"
},{
"type": "thumb-down",
"id": "samplesCodeIssue",
"label":"示例/代码问题"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"其他"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"易于理解"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"解决了我的问题"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"其他"
}]