Regularização de esparsidade: exercício de playground

Tempo estimado: 8 minutos

Análise da regularização L₁

Este exercício contém um conjunto de dados de treinamento pequeno e ligeiramente ruidoso. Nesse tipo de cenário, o overfitting é uma preocupação real. A regularização pode ajudar, mas qual é a forma de regularização?

Este exercício consiste em cinco tarefas relacionadas. Para simplificar as comparações nas cinco tarefas, execute cada uma em uma guia separada. As espessuras das linhas que conectam FEATURES e OUTPUT representam os pesos relativos de cada atributo.

Tarefa	Tipo de regularização	Taxa de regularização (lambda)
1	L2	0,1
2	L2	0.3
3	L1	0,1
4	L1	0.3
5	L1	experimento

Perguntas:

1. Como mudar da regularização de L₂ para L₁ influencia o delta entre a perda de teste e de treinamento?
2. Como a mudança da regularização de L₂ para L₁ influencia os pesos aprendidos?
3. Como o aumento da taxa de regularização L₁ (lambda) influencia os pesos aprendidos?

(As respostas aparecem logo abaixo do exercício.)

---

---

Clique no ícone de adição para ver as respostas.

1. Mudar da regularização de L₂ para L₁ reduz drasticamente o delta entre a perda de teste e de treinamento.
2. Mudar da regularização de L₂ para L₁ reduz todos os pesos aprendidos.
3. Aumentar a taxa de regularização L₁ geralmente reduz os pesos aprendidos. No entanto, se a taxa de regularização for muito alta, o modelo não poderá convergir e as perdas serão muito altas.

 

Central de Ajuda