Como analisar a regularização de L₂

Este exercício contém um conjunto de dados de treinamento pequeno e com ruído. Nesse tipo de cenário, o overfitting é uma preocupação real. Felizmente, regularização pode ajudar.

Este exercício consiste em três tarefas relacionadas. Para simplificar as comparações nas três tarefas, execute cada tarefa em uma guia separada.

• Tarefa 1:execute o modelo conforme fornecido para pelo menos 500 períodos. Observação o seguinte:
  • Perda de teste.
  • O delta entre a perda de teste e a perda do treinamento.
  • Os pesos aprendidos dos atributos e os cruzamentos de atributos. (A espessura relativa de cada linha em execução de FEATURES a OUTPUT) representa o peso aprendido desse atributo ou cruzamento de atributos. Para encontrar os valores de peso exatos, passe o cursor cada linha.
• Tarefa 2:faça essa tarefa em uma guia separada. Aumente a taxa de regularização de 0 a 0.3. Depois, execute o por pelo menos 500 períodos e encontrar respostas para as seguintes perguntas:
  • Qual é a diferença entre a perda de teste na tarefa 2 e a perda de teste na tarefa 1?
  • Como é o delta entre a perda de teste e a perda do treinamento na tarefa 2 diferente da tarefa 1?
  • Qual é a diferença entre os pesos aprendidos de cada atributo e o cruzamento de atributos da tarefa 2 para a tarefa 1?
  • O que seus resultados dizem sobre a complexidade do modelo?
• Tarefa 3: teste a taxa de regularização, tentando encontrar o o valor ideal.

As respostas aparecem logo abaixo do exercício.

---

---

Clique no ícone de adição para conferir as respostas.

Aumentar a taxa de regularização de 0 para 0,3 produz o seguinte: efeitos:

• A perda de teste cai significativamente.

  Observação: embora a perda de teste diminua, a perda de treinamento aumenta. Isso é esperado, porque você adicionou outra à função de perda para penalizar a complexidade. No final das contas, tudo isso importante é a perda de teste, porque essa é a verdadeira medida da capacidade do modelo de fazer boas previsões sobre novos dados.

• O delta entre a perda de teste e a perda de treinamento cai significativamente.
• Os pesos dos atributos e alguns dos cruzamentos de atributos têm menor valores absolutos, ou seja, a complexidade do modelo diminui.

Dada a aleatoriedade no conjunto de dados, é impossível prever qual taxa de regularização produziu os melhores resultados para você. Para nós, uma taxa de regularização de 0,3 ou 1 geralmente produz a menor perda de teste.