Examinar a regularização L₁

Este exercício contém um exercício de treinamento pequeno no conjunto de dados. Nesse tipo de cenário, o overfitting é uma preocupação real. A regularização pode ajudar, mas qual é a forma de regularização?

Este exercício consiste em cinco tarefas relacionadas. Para simplificar as comparações nas cinco tarefas, execute cada tarefa em uma guia separada. Observe que a espessura das linhas que conectam FEATURES e OUTPUT representam os pesos relativos de cada atributo.

Tarefa	Tipo de regularização	Taxa de regularização (lambda)
1	L2	0,1
2	L2	0,3
3	L1	0,1
4	L1	0,3
5	L1	experimento

Perguntas:

1. Como mudar da regularização L₂ para L₁? influenciam o delta entre a perda de teste e a perda de treinamento?
2. Como mudar da regularização L₂ para L₁? influenciam os pesos aprendidos?
3. Como o aumento da taxa de regularização de L₁ (lambda) influencia? os pesos aprendidos?

As respostas aparecem logo abaixo do exercício.

---

---

Clique no ícone de adição para conferir as respostas.

1. Mudar drasticamente da regularização de L₂ para a L₁ reduz o delta entre a perda de teste e a de treinamento.
2. A mudança do fluxo de L₂ para L₁ atenua a regularização todos os pesos aprendidos.
3. Aumentar a taxa de regularização de L₁ geralmente diminui o valor os pesos aprendidos; No entanto, se a taxa de regularização for muito alta, o modelo não converge e as perdas são muito altas.