Taxa de aprendizado e convergência
Este é o primeiro de vários exercícios do Playground. O Playground é um programa desenvolvido especialmente para este curso que ensina princípios de machine learning. Cada exercício do Playground neste curso inclui uma instância incorporada com predefinições.
Cada exercício do Playground gera um conjunto de dados. O rótulo desse conjunto de dados tem dois valores possíveis. Você pode pensar nesses dois valores possíveis como spam versus não spam ou talvez árvores saudáveis x árvores doentes. O objetivo da maioria dos exercícios é ajustar vários hiperparâmetros para criar um modelo que classifique (separe ou distinga) um valor de rótulo do outro. A maioria dos conjuntos de dados contém uma certa quantidade de ruído que impossibilita a classificação correta de todos os exemplos.
Clique no ícone de adição para conferir uma explicação sobre a visualização do modelo.
Cada exercício do Playground mostra uma visualização do estado atual do modelo. Por exemplo, aqui está uma visualização:
Observe o seguinte sobre a visualização de modelo:
- Cada eixo representa uma característica específica. No caso de spam e não spam, os recursos podem ser a contagem de palavras e o número de destinatários do e-mail.
- Cada ponto traça os valores do atributo para um exemplo dos dados, por exemplo, um e-mail.
- A cor do ponto representa a classe a que o exemplo pertence. Por exemplo, os pontos azuis podem representar e-mails que não são spam, e os pontos laranjas podem representar e-mails de spam.
- A cor de fundo representa a previsão do modelo de onde os exemplos dessa cor podem ser encontrados. Um plano de fundo azul ao redor de um ponto azul significa que o modelo está prevendo corretamente esse exemplo. Por outro lado, um fundo laranja em torno de um ponto azul significa que o modelo está prevendo incorretamente esse exemplo.
- Os tons de azul e laranja de fundo são dimensionados. Por exemplo, o lado esquerdo dela está em azul sólido, mas fica gradualmente branco no centro da visualização. A intensidade da cor sugere a confiança do modelo no palpite. Azul sólido significa que o modelo está muito confiante em relação ao palpite, e azul-claro significa que ele está menos confiante. A visualização do modelo mostrada na figura não faz uma previsão ruim.
Use a visualização para avaliar o progresso do modelo. ("Excelente! A maioria dos pontos azuis tem um fundo azul" ou "Ah, não! Os pontos azuis têm um fundo laranja.") Além das cores, o Playground também exibe a perda atual do modelo numericamente. ("Ah, não! A perda está aumentando, não diminuindo.")
A interface deste exercício oferece três botões:
| Icon | Nome | O que faz |
|---|---|---|
|
Redefinir | As Iterations são redefinidas como 0. Redefine todos os pesos que o modelo já havia aprendido. |
|
Step | Avance uma iteração. A cada iteração, o modelo muda, às vezes de maneira sutil e, às vezes, drasticamente. |
|
Gerar novamente | Gera um novo conjunto de dados. Não redefine as Iterações. |
Neste primeiro exercício do Playground, você vai testar a taxa de aprendizado executando duas tarefas.
Tarefa 1:observe o menu Taxa de aprendizado no canto superior direito do Playground. A taxa de aprendizado informada (3) é muito alta. Observe como essa alta taxa de aprendizado afeta seu modelo clicando no botão "Etapa" 10 ou 20 vezes. Após cada iteração inicial, observe como a visualização do modelo muda drasticamente. Talvez você até veja instabilidade depois que o modelo parecer convergido. Observe também as linhas saindo de x1 e x2 até a visualização do modelo. Os pesos dessas linhas indicam os pesos desses recursos no modelo. Ou seja, uma linha grossa indica um peso alto.
Tarefa 2:faça o seguinte:
- Pressione o botão Redefinir.
- Diminua a taxa de aprendizado.
- Pressione o botão Step várias vezes.
Como a menor taxa de aprendizado afetou a convergência? Examine o número de etapas necessárias para que o modelo converge e a convergência do modelo de maneira uniforme e constante. Teste valores ainda mais baixos de taxa de aprendizado. Você acha que uma taxa de aprendizado é muito lenta para ser útil? Você encontrará uma discussão logo abaixo do exercício.