稀疏性正则化 (Regularization for Sparsity):检查您的理解情况

L1 正则化

查看以下选项。

假设某个线性模型具有 100 个输入特征:
  • 其中 10 个特征信息丰富。
  • 另外 90 个特征信息比较缺乏。
  • 假设所有特征的值均介于 -1 和 1 之间。以下哪些陈述属实?
    L1 正则化会使很多信息缺乏的权重接近于(但并非正好是)0.0。
    一般来说,lambda 充分的 L1 正则化往往会使信息缺乏的特征的权重正好为 0.0。 与 L2 正则化不同,无论权重距 0.0 有多远,L1 正则化都很难使权重降低但不为 0.0。
    L1 正则化会使大多数信息缺乏的权重正好为 0.0。
    lambda 充分的 L1 正则化往往会使信息缺乏的权重正好为 0.0。这样,这些信息缺乏的特征便会远离模型。
    L1 正则化可能会使信息丰富的特征的权重正好为 0.0。
    请注意,L1 正则化可能会使以下类型的特征的权重正好为 0:
  • 信息缺乏的特征。
  • 不同程度的信息丰富的特征。
  • 与其他类似的信息丰富特征密切相关的信息丰富特征。
  • L1L2 正则化

    查看以下选项。

    假设某个线性模型具有 100 个输入特征,这些特征的值均介于 -1 到 1 之间:
  • 其中 10 个特征信息丰富。
  • 另外 90 个特征信息比较缺乏。
  • 哪种类型的正则化会产生较小的模型?
    L2 正则化。
    L2 正则化很少会减少特征的数量。 也就是说,L2 正则化很少会减小模型的大小。
    L1 正则化。
    L1 正则化往往会减少特征的数量。也就是说,L1 正则化常常会减小模型的大小。