Entender seu entendimento: depuração de modelos

Para as perguntas a seguir, clique na sua seleção para abrir e verificar sua resposta.

Abordagem de modelagem

Você e seu amigo Mel são unicórnios. Você gosta muito de unicórnios, então decide decidir as aparências dos unicórnios usando ... machine learning. Você tem um conjunto de dados com 10.000 aparências de unicórnios. Para cada aparência, o conjunto de dados contém a localização, a hora do dia, a elevação, a temperatura, a umidade, a densidade da população, a cobertura da árvore, a presença de um arco-íris e muitos outros atributos.

Você quer começar a desenvolver seu modelo de ML. Qual das seguintes abordagens é uma boa maneira de iniciar o desenvolvimento?
Os unicórnios costumam aparecer ao amanhecer e ao anoitecer. Portanto, use o recurso "hora do dia" para criar um modelo linear.
correto. Um modelo linear que usa um ou dois atributos altamente preditivos é uma maneira eficaz de começar.
Prever a aparência de um unicórnio é um problema muito difícil. Portanto, use uma rede neural profunda com todos os atributos disponíveis.
Incorreto. Começar com um modelo complexo vai complicar a depuração.
Comece com um modelo linear simples, mas use todos os atributos para garantir que ele tenha um poder preditivo.
Incorreto. Se você usar muitos dos recursos, mesmo com um modelo linear, o modelo resultante será complexo e difícil de depurar.

Linhas de base

Ao usar a regressão com perda de erro quadrático médio (MSE, na sigla em inglês), você está prevendo o custo de uma corrida de táxi usando a duração, distância, origem e término da viagem. Você sabe:

  • O custo médio da viagem é de R $15,00.
  • O custo de viagem aumenta em um valor fixo por quilômetro.
  • Os passeios na área central são cobrados à parte.
  • As viagens começam com um custo mínimo de US $3.

Determine se os seguintes valores de referência são úteis.

Essa linha de base é útil? Cada viagem custa US $15.
Sim
correto. O custo médio é um valor de referência útil.
Não
Incorreto. A previsão geral da média resulta em uma EQM menor do que a previsão de qualquer outro valor. Portanto, testar um modelo com esse valor de referência oferece uma comparação significativa.
Depende do desvio padrão do custo da viagem.
Incorreto. Independentemente do desvio padrão, o custo médio da viagem é uma linha de base útil, porque a previsão da média resulta em uma EQM menor em comparação com qualquer outro valor.
Esse é um valor de referência útil: um modelo treinado que usa apenas duração e origem como atributos.
Sim
Incorreto. Use um modelo treinado como valor de referência apenas depois que o modelo for totalmente validado na produção. Além disso, o modelo treinado precisa ser validado em relação a um valor de referência mais simples.
Não
correto. Use um modelo treinado como valor de referência apenas depois que o modelo for totalmente validado na produção.
Esse é um valor de referência útil: o custo de uma viagem é a distância (em quilômetros) multiplicada pela tarifa por quilômetro.
Sim
correto. A distância é o fator mais importante para determinar o custo da viagem. Portanto, um valor de referência que depende da distância é útil.
Não
Incorreto. A distância é o fator mais importante no custo de viagem determinável. Portanto, um valor de referência que depende da distância é útil.
Essa é uma linha de base útil: cada viagem custa R $1. Porque o modelo precisa sempre superar esse valor de referência. Se o modelo não superar esse valor de referência, podemos ter certeza de que o modelo tem um bug.
Sim
Incorreto. Esse valor de referência não é útil porque está sempre errado. Comparar um modelo com um valor de referência que está sempre errado não é significativo.
Não
correto. Esse valor de referência não é um teste útil do modelo.

Hiperparâmetros

As perguntas a seguir descrevem problemas no treinamento de um classificador. Escolha ações que podem corrigir o problema descrito.

A perda de treinamento é 0,24 e a perda de validação é 0,36. Quais das ações a seguir podem reduzir a diferença entre a perda de treinamento e validação?
Verifique se os conjuntos de treinamento e validação têm as mesmas propriedades estatísticas.
correto. Se os conjuntos de treinamento e validação tiverem propriedades estatísticas diferentes, os dados de treinamento não ajudarão a prever os dados de validação.
Use a regularização para evitar o overfitting.
correto. Se a perda de treinamento for menor que a perda de validação, seu modelo provavelmente está com overfitting nos dados de treinamento. A regularização impede o overfitting.
Aumente o número de períodos de treinamento.
Incorreto. Se a perda de treinamento for menor que a perda de validação, seu modelo normalmente estará com overfitting. O aumento dos períodos de treinamento só aumentará o overfitting.
Reduzir a taxa de aprendizado
Incorreto. Ter uma perda de validação maior que a perda de treinamento geralmente indica overfitting. Alterar a taxa de aprendizado não reduz o overfitting.
Você executa as ações corretas descritas na pergunta anterior, e agora suas perdas de treinamento e validação diminuim de 1,0 para aproximadamente 0,24 após o treinamento para muitos períodos. Qual das seguintes ações pode reduzir ainda mais a perda de treinamento?
Aumente a profundidade e a largura da rede neural.
correto. Se a perda de treinamento permanecer constante em 0,24 após o treinamento por muitas épocas, seu modelo pode não ter a capacidade preditiva de reduzir ainda mais a perda. Aumentar a profundidade e largura do modelo pode dar ao modelo a capacidade preditiva necessária para reduzir ainda mais a perda de treinamento.
Aumente o número de períodos de treinamento.
Incorreto. Se a perda de treinamento permanecer em 0,24 após o treinamento de muitas épocas, continuar a treinar o modelo provavelmente não fará com que a perda de treinamento diminua significativamente.
Aumentar a taxa de aprendizado
Incorreto. Como a perda de treinamento não diminuiu em muitos períodos de treinamento, o aumento da taxa de aprendizado provavelmente não reduzirá a perda final. Em vez disso, o aumento da taxa de aprendizado pode tornar o treinamento instável e impedir que o modelo aprenda os dados.
Você realizou a ação correta na pergunta anterior. A perda de treinamento do seu modelo diminuiu para 0,20. Suponha que você precise reduzir um pouco mais a perda de treinamento do seu modelo. Adicione alguns recursos que parecem ter poder preditivo. No entanto, a perda de treinamento continua a flutuar em torno de 0,20. Selecione as três opções a seguir para reduzir a perda de treinamento.
Aumente a profundidade e a largura das suas camadas.
correto. Seu modelo pode não ser capaz de aprender os sinais preditivos nos novos recursos.
Aumente o período do treinamento.
Incorreto. Se a perda de treinamento do seu modelo estiver flutuando em torno de 0,20, aumentar o número de períodos de treinamento provavelmente fará com que a perda de treinamento do modelo continue a flutuar em torno de 0,20.
Os recursos não adicionam informações relativas aos recursos atuais. Tente usar um recurso diferente.
correto. É possível que os sinais preditivos codificados pelos recursos já existam nos recursos que você está usando.
Reduzir a taxa de aprendizado
correto. É possível que a adição dos novos recursos tornou o problema mais complexo. Especificamente, a flutuação na perda indica que a taxa de aprendizado é muito alta e o modelo está pulando ao redor do mínimo. Ao diminuir sua taxa de aprendizado, o modelo aprenderá o mínimo.