Taxa de aprendizado e convergência
Este é o primeiro de vários exercícios de Playground. O Playground é um programa foi desenvolvido especialmente para este curso ensinar os princípios do machine learning. Cada exercício do Playground deste curso inclui um playground incorporado com predefinições.
Cada exercício do Playground gera um conjunto de dados. O rótulo desta conjunto de dados tem dois valores possíveis. Você pode pensar nessas duas opções valores possíveis como spam vs. não spam ou talvez árvores saudáveis vs. árvores doentes. O objetivo da maioria dos exercícios é ajustar vários hiperparâmetros para criar um modelo que classifica (separa ou diferencia) um do outro. A maioria dos conjuntos de dados contém um determinado quantidade de ruído que impossibilita uma classificação bem-sucedida todos os exemplos.
Clique no ícone de adição para conferir uma explicação sobre a visualização do modelo.
Cada exercício do Playground exibe uma visualização estado do modelo. Por exemplo, aqui está uma visualização:
Observe o seguinte sobre a visualização do modelo:
- Cada eixo representa um recurso específico. Em caso de spam versus não spam, os recursos podem ser a contagem de palavras e o número de destinatários dos e-mail.
- Cada ponto representa os valores de atributo de um exemplo dos dados, como um e-mail.
- A cor do ponto representa a classe a que o exemplo pertence. Por exemplo, os pontos azuis podem representar e-mails que não são spam, enquanto o os pontos laranjas podem representar e-mails de spam.
- A cor de fundo representa a previsão do modelo sobre onde os exemplos dessa cor deve ser encontrada. Um plano de fundo azul ao redor de um ponto azul significa que o modelo está prevendo corretamente esse exemplo. Por outro lado, um fundo laranja em torno de um ponto azul significa que o modelo está de prever esse exemplo incorretamente.
- Os tons de azul e laranja do plano de fundo são dimensionados. Por exemplo, o lado esquerdo a visualização fica em azul constante, mas, gradualmente, fica branca no centro da visualização. Pense na intensidade da cor como um sinal a confiança do modelo em seu palpite. Portanto, o azul sólido significa que o modelo tem muita confiança no palpite, e a cor azul indica que o modelo está menos confiante. (A visualização do modelo mostrada na figura está um trabalho de previsão ruim.)
Use a visualização para avaliar o progresso do seu modelo. ("Excelente: a maioria dos pontos azuis tem um fundo azul" ou "Ah, não! Os pontos azuis têm um fundo laranja.") Além das cores, Playground também exibe numericamente a perda atual do modelo. ("Oh, não! A perda aumenta em vez de descer.")
A interface deste exercício tem três botões:
| Ícone | Nome | O que faz |
|---|---|---|
|
Redefinir | Redefine Iterações como 0. Redefine todos os pesos que o modelo tinha já aprendeu. |
|
Etapa | Avance uma iteração. A cada iteração, o modelo mudanças, às vezes sutil e outras vezes drasticamente. |
|
Gerar novamente | Gera um novo conjunto de dados. Não redefine Iterações. |
Neste primeiro exercício do Playground, você vai testar taxa de aprendizado realizando duas tarefas.
Tarefa 1:observe o menu Taxa de aprendizado no canto superior direito Playground. A taxa de aprendizado (3) é muito alta. Observar como essa alta taxa de aprendizado afeta seu modelo clicando no botão 10 ou 20 vezes. Após cada iteração inicial, observe como o modelo a visualização muda drasticamente. É possível até ver alguma instabilidade depois que o modelo parece ter convergido. Também note as linhas que passam de x1 e x2 para a visualização do modelo. Os pesos de essas linhas indicam os pesos desses atributos no modelo. Ou seja, a linha grossa indica um peso alto.
Tarefa 2:faça o seguinte:
- Pressione o botão Redefinir.
- Diminua a taxa de aprendizado.
- Pressione o botão de etapa várias vezes.
Como a taxa de aprendizado menor afetou a convergência? Analise os dois o número de etapas necessárias para a convergência do modelo e com que intensidade e o modelo converge de modo constante. Experimente com valores ainda mais baixos de e a taxa de aprendizado. Você acha que uma taxa de aprendizado é muito lenta para ser útil? (Você encontrar uma discussão logo abaixo do exercício.)