Antes de começar este módulo, considere se há alguma armadilha no uso do processo de treinamento descrito em Conjuntos de treinamento e teste.
Confira as opções abaixo.
Analisamos um processo de uso de um conjunto de teste e um conjunto de treinamento
para gerar iterações do desenvolvimento do modelo. Em cada iteração, treinamos os dados de treinamento e avaliamos os dados de teste usando os
resultados da avaliação nos dados de teste para orientar as escolhas e alterações em vários
hiperparâmetros do modelo, como taxa de aprendizado e recursos. Há algo de errado
nessa abordagem? (Escolha apenas uma resposta.)
Muito bem, estamos treinando e avaliando
dados de teste separados e mantidos.
Na verdade, há um problema sutil aqui. Pense no que aconteceria
se fizéssemos muitas e muitas iterações desse formulário.
Ao realizar muitas rodadas desse procedimento, podemos nos adaptar implicitamente
às peculiaridades do conjunto de testes específico.
Sim! Quanto mais avaliamos um determinado conjunto de teste, maior é o risco
de overfitting implicitamente para esse conjunto de teste.
Vamos analisar um protocolo melhor a seguir.
Isso é computacionalmente ineficiente. É preciso apenas escolher um conjunto padrão de hiperparâmetros e trabalhar com eles para economizar recursos.
Esses tipos de iterações são caros, mas são uma parte essencial
do desenvolvimento do modelo. As configurações de hiperparâmetros podem fazer uma enorme diferença na qualidade do modelo. Sempre precisamos reservar tempo e recursos computacionais para garantir a melhor qualidade possível.