我们将于 2021 年 7 月 30 日从此网站上移除《机器学习速成课程》。英语版本依然会提供。

降低损失 (Reducing Loss):检查您的理解情况

检查您的理解情况:批量大小

查看以下选项。

基于大型数据集执行梯度下降法时,以下哪个批量大小可能比较高效?
全批量。
对全批量计算梯度这一做法的效率并不高。也就是说,与非常大的全批量相比,对较小的批量计算梯度通常高效得多(并且准确度无异)。
小批量或甚至包含一个样本的批量 (SGD)。
令人惊讶的是,在小批量或甚至包含一个样本的批量上执行梯度下降法通常比全批量更高效。毕竟,计算一个样本的梯度要比计算数百万个样本的梯度成本低的多。为确保获得良好的代表性样本,该算法在每次迭代时都会抽取另一个随机小批量数据(或包含一个样本的批量数据)。