Regressão linear: exercício de gradiente descendente

Neste exercício, você vai analisar novamente o gráfico de dados de eficiência de combustível do exercício de parâmetros. Mas, desta vez, você vai usar o gradiente descendente para aprender os valores ideais de peso e viés de um modelo linear que minimiza a perda.

Conclua as três tarefas abaixo do gráfico.

Essa visualização interativa pode produzir imagens piscantes quando definida com uma taxa de aprendizado alta, o que pode afetar pessoas fotossensíveis.

Tarefa 1:ajuste o controle deslizante da Taxa de aprendizado abaixo do gráfico para definir uma taxa de aprendizado de 0,03. Clique no botão Iniciar para executar o método de gradiente descendente.

Quanto tempo leva para o treinamento do modelo convergir (atingir um valor de perda mínimo estável)? Qual é o valor de MSE na convergência do modelo? Quais valores de peso e viés produzem esse valor?

Clique no ícone de adição para conferir nossa solução.

Quando definimos uma taxa de aprendizado de 0,03, o modelo convergiu em aproximadamente 30 segundos, alcançando um MSE de 2,67 com valores de peso e viés de -1,14 e 20,389, respectivamente. Isso indica que escolhemos um bom valor de taxa de aprendizado.

Tarefa 2:clique no botão Redefinir abaixo do gráfico para redefinir os valores de peso e viés. Ajuste o controle deslizante da Taxa de aprendizado para um valor próximo a 1,10e^–5. Clique no botão Iniciar para executar o método de gradiente descendente.

O que você percebe sobre o tempo que o treinamento do modelo leva para convergir desta vez?

Clique no ícone de adição para ver a solução.

Depois de vários minutos, o treinamento do modelo ainda não convergiu. Pequenas atualizações nos valores de peso e viés continuam resultando em valores de perda ligeiramente menores. Isso sugere que escolher uma taxa de aprendizado maior permitiria que a descida do gradiente encontrasse os valores ideais de peso e viés mais rapidamente.

Tarefa 3:clique no botão Redefinir abaixo do gráfico para redefinir os valores de peso e viés. Ajuste o controle deslizante da Taxa de aprendizado até 1. Clique no botão Iniciar para executar o método de gradiente descendente.

O que acontece com os valores de perda à medida que a descida do gradiente é executada? Quanto tempo o treinamento do modelo vai levar para convergir desta vez?

Clique no ícone de adição para ver a solução.

Os valores de perda variam muito em valores altos (MSE acima de 300). Isso indica que a taxa de aprendizado está muito alta e o treinamento do modelo nunca vai atingir a convergência.