Conjuntos de dados, generalização e overfitting

Duração estimada do módulo: 105 minutos

Objetivos de aprendizagem

• Identificar quatro características diferentes de dados e conjuntos de dados.
• Identifique pelo menos quatro causas diferentes de falta de confiabilidade dos dados.
• Determine quando descartar dados ausentes e quando imputá-los.
• Diferenciar rótulos diretos e derivados.
• Identificar duas maneiras diferentes de melhorar a qualidade dos vídeos rótulos.
• Explique por que subdividir um conjunto de dados em um conjunto de treinamento, validação e teste; identifique um possível problema nas divisões de dados.
• Explique o overfitting e identifique três possíveis causas.
• Explicar o conceito de regularização. Em particular, explique seguintes:
  • Viés versus variância (adaptação a valores discrepantes…)
  • Regularização L₂, incluindo Lambda (regularização taxa)
  • Parada antecipada
• Interpretar diferentes tipos de curvas de perda; detectar convergência e overfitting em curvas de perda.

Pré-requisitos:

Neste módulo, você precisa conhecer os conceitos abordados nos módulos a seguir:

• Introdução ao aprendizado de máquina
• Regressão linear
• Como trabalhar com dados numéricos
• Como trabalhar com dados categóricos

Introdução

Este módulo começa com uma pergunta introdutória. Escolha uma das seguintes respostas:

Se você teve que priorizar a melhoria de uma das áreas a seguir no projeto de machine learning, que teria a maior impacto?

Como melhorar a qualidade do seu conjunto de dados

Os dados são mais importantes. A qualidade e o tamanho do conjunto de dados são muito mais importantes do que o algoritmo que você usa para criar o modelo.

Como aplicar uma função de perda mais inteligente ao treinamento do modelo

Verdadeiro. Uma função de perda melhor pode ajudar um modelo a treinar mais rapidamente, mas ainda está a um segundo item da lista.

E aqui vai uma pergunta ainda mais sugestiva:

Tente adivinhar: em seu projeto de machine learning, quanto tempo você normalmente gasta com preparação e transformação de dados?

Mais da metade do tempo do projeto

Sim, os profissionais de ML passam a maior parte do tempo construindo conjuntos de dados e fazendo engenharia de atributos.

Menos da metade do tempo do projeto

Planeje mais! Normalmente, 80% do tempo em uma equipe projeto é gasto construindo conjuntos de dados e transformando dados.

Neste módulo, você vai saber mais sobre as características do machine learning conjuntos de dados e como prepará-los para garantir resultados de alta qualidade ao para treinar e avaliar seu modelo.

Central de Ajuda