降低损失 (Reducing Loss):检查您的理解情况

检查您的理解情况:批次大小

了解以下选项。

在大型数据集上执行梯度下降法时,以下哪个批量大小可能更高效?
完整批次。
从全批次计算梯度的效率并不高。也就是说,与非常大的全批次相比,小批次计算梯度的效率通常更高(且准确度一样高)。
小批量,甚至是包含一个样本的批量 (SGD)。
令人惊讶的是,对小批量甚至包含一个样本的批量执行梯度下降法通常比对全批量更高效。毕竟,计算一个样本的梯度比计算数百万个样本的梯度要低得多。 为确保获得良好的代表性样本,该算法在每次迭代时都会抽取另一个随机的小批次(或一个批次的批次)。