稀疏性正则化 (Regularization for Sparsity):检查您的理解情况

L1 正则化

了解以下选项。

假设某个线性模型具有 100 个输入特征:
  • 其中 10 个特征信息丰富。
  • 其中 90 个特征信息缺乏。
  • 假设所有特征的值都介于 -1 到 1 之间。以下哪些说法是正确的?
    L1 正则化会使许多信息缺乏的权重接近(但并非正好)为 0.0。
    一般来说,lambda 充分的 L1 正则化往往会使信息缺乏的特征的权重正好为 0.0。与 L2 正则化不同,无论权重与 0.0 的差距有多大,L1 正则化都会让 L1 正则化同样难以接近 0.0。
    L1 正则化会使大多数信息缺乏的权重正好为 0.0。
    lambda 充分的 L1 正则化往往会使信息缺乏的权重正好为 0.0。这样,这些信息缺乏的特征就会离开模型。
    L1 正则化可能会导致信息丰富的特征的权重正好为 0.0。
    请注意,L1 正则化可能会导致以下类型的特征的权重正好为 0:
  • 信息不足的功能。
  • 不同规模的信息丰富的特征。
  • 与其他类似的信息丰富的特征密切相关的信息丰富特征。
  • L1L2 正则化

    了解以下选项。

    假设某个线性模型具有 100 个输入特征,这些特征的值均介于 -1 到 1 之间:
  • 其中 10 个特征信息丰富。
  • 其中 90 个特征信息缺乏。
  • 哪种类型的正则化会产生较小的模型?
    L2 正则化。
    L2 正则化很少减少特征的数量。换句话说,L2 正则化很少会减小模型的大小。
    L1 正则化。
    L1 正则化往往会减少特征的数量。也就是说,L1 正则化通常会减小模型的大小。