Regularização para simplicidade: exercício de playground (regularização L2)

Tempo estimado: 10 minutos

Examinar a regularização L₂

Este exercício contém um conjunto de dados de treinamento pequeno e com ruído. Nesse tipo de cenário, o overfitting é uma preocupação real. Felizmente, a regularização pode ajudar.

Este exercício consiste em três tarefas relacionadas. Para simplificar as comparações nas três tarefas, execute cada tarefa em uma guia separada.

• Tarefa 1:execute o modelo conforme fornecido para pelo menos 500 períodos. Atenção:
  • Testar perda.
  • O delta entre a perda de teste e a perda de treinamento.
  • Os pesos aprendidos dos atributos e dos cruzamentos de atributos. A espessura relativa de cada linha executada de FEATURES a OUTPUT representa o peso aprendido para esse atributo ou cruzamento de atributos. Para encontrar os valores de peso exatos, passe o cursor sobre cada linha.
• Tarefa 2:considere fazer esta tarefa em uma guia separada. Aumente a taxa de regularização de 0 para 0.3. Em seguida, execute o modelo por pelo menos 500 períodos e encontre respostas para as seguintes perguntas:
  • Como a perda de teste na Tarefa 2 difere da perda de teste na Tarefa 1?
  • Como o delta entre a perda de teste e a de treinamento na Tarefa 2 difere da da Tarefa 1?
  • Como os pesos aprendidos de cada atributo e cruzamento de atributos diferem da Tarefa 2 para a Tarefa 1?
  • O que seus resultados dizem sobre a complexidade do modelo?
• Tarefa 3:faça testes com a taxa de regularização para encontrar o valor ideal.

(As respostas aparecem logo abaixo do exercício.)

---

---

Clique no ícone de adição para ver as respostas.

Aumentar a taxa de regularização de 0 para 0,3 produz os seguintes efeitos:

• A perda de teste caiu significativamente.

  Observação: embora a perda de teste diminua, a perda de treinamento aumenta. Isso é esperado, porque você adicionou outro termo à função de perda para penalizar a complexidade. Em última análise, o que importa é a perda do teste, porque essa é a verdadeira medida da capacidade do modelo de fazer boas previsões sobre novos dados.

• O delta entre a perda de teste e a perda de treinamento cai significativamente.
• Os pesos dos atributos e alguns dos cruzamentos de atributos têm valores absolutos menores, o que significa que a complexidade do modelo diminui.

Considerando a aleatoriedade no conjunto de dados, é impossível prever qual taxa de regularização produziu os melhores resultados para você. Para nós, uma taxa de regularização de 0,3 ou 1 geralmente produzia a menor perda de teste.

Central de Ajuda