Como interpretar curvas de perda

O machine learning seria muito fácil se todas as nossas curvas de perda fossem assim na primeira vez que treinamos nosso modelo:

Um gráfico que mostra a curva de perda ideal ao treinar um modelo de machine learning.
A curva de perda traça a perda no eixo y em relação ao número de etapas de treinamento no eixo x. À medida que o número de etapas de treinamento aumenta, a perda começa alta e depois diminui exponencialmente e, por fim, é reduzida para atingir uma perda mínima.

Mas, na realidade, as curvas de perda podem ser muito difíceis de interpretar. Use seu conhecimento sobre as curvas de perda para responder às perguntas a seguir.

1. Meu modelo não treina!

Sua amiga Mel e você continuam trabalhando no preditor de aparência do unicórnio. Esta é sua primeira curva de perda.

Um gráfico de curva de perda com os mesmos eixos do gráfico anterior. Aqui, a perda não
se nivela, mas aumenta e diminui de maneira errática, de modo que o
gráfico oscila.

Descreva o problema e como Mel pode corrigi-lo:

2. Minha perda explodiu!

Mel mostra outra curva. O que há de errado aqui e como ela pode corrigir o problema? Escreva sua resposta abaixo.

Um gráfico de curva de perda que mostra como a perda diminui para um determinado número de
etapas de treinamento e, de repente, aumenta com outras etapas
de treinamento.

3. Minhas métricas são contraditórias!

Melina quer saber mais sobre outra curva. O que está errado e como ela pode corrigir isso? Escreva sua resposta abaixo.

A imagem mostra dois gráficos. O gráfico à esquerda mostra a curva de perda ideal.
O gráfico à direita mostra a métrica de recall em 0, mesmo com o aumento do número de etapas de treinamento.

Descreva o problema e como Mel pode corrigi-lo:

4. Perda de testes é muito alta!

Mel mostra as curvas de perda para treinamento e teste de conjuntos de dados e pergunta "O que há de errado?". Escreva sua resposta abaixo.

Um gráfico de curva de perda que mostra a divergência entre o treinamento e a perda de teste à medida que um modelo
é treinado.

Descreva o problema e como Mel pode corrigi-lo:

5. Meu modelo trava

Você é paciente quando Mel retorna alguns dias depois com mais uma curva. O que está errado aqui e como Mel pode corrigir isso?

Um gráfico de uma curva de perda que mostra a perda começando a convergir com o treinamento, mas depois exibindo padrões repetidos que se parecem com uma onda retangular.

Descreva o problema e como Mel pode corrigi-lo:

Funciona!

"Está funcionando perfeitamente agora!" Mel exclama. Ela se reclina para a cadeira triunfante e pega um grande suspiro. A curva é ótima e você faz o resultado. Mel e você têm um momento para discutir as verificações a seguir para validar o modelo.

  • métricas reais
  • valores de referência
  • perda absoluta de problemas de regressão
  • Outras métricas para problemas de classificação
  • Um gráfico que mostra uma curva de perda que converge.