Depois de examinar seus dados usando técnicas estatísticas e de visualização, transforme-os de maneiras que ajudem a treinar o modelo de maneira mais eficaz. O objetivo da normalização é transformar os recursos para que fiquem em uma escala semelhante. Por exemplo, considere os dois recursos a seguir:
- O recurso
Xabrange o intervalo de 154 a 24.917.482. - O recurso
Yabrange o intervalo de 5 a 22.
Esses dois recursos abrangem intervalos muito diferentes. A normalização pode manipular
X e Y para que eles tenham um intervalo semelhante, talvez de 0 a 1.
A normalização oferece os seguintes benefícios:
- Ajuda os modelos a convergerem mais rapidamente durante o treinamento. Quando elementos diferentes têm intervalos diferentes, a descida áspera pode "recuar" e desacelerar a convergência. No entanto, otimizadores mais avançados, como Adagrad e Adam, protegem contra esse problema mudando a taxa de aprendizado eficaz ao longo do tempo.
- Ajuda os modelos a fazer previsões melhores. Quando recursos diferentes têm intervalos diferentes, o modelo resultante pode fazer previsões menos úteis.
- Ajuda a evitar a armadilha do NaN quando os valores do elemento são muito altos.
NaN é uma abreviação de
not a number (número inválido). Quando um valor em um modelo excede o
limite de precisão de ponto flutuante, o sistema define o valor como
NaNem vez de um número. Quando um número no modelo se torna um NaN, outros números no modelo também se tornam um NaN. - Ajuda o modelo a aprender pesos adequados para cada atributo. Sem o escalonamento de recursos, o modelo dá muita atenção a recursos com intervalos amplos e não dá atenção suficiente a recursos com intervalos estreitos.
Recomendamos a normalização de recursos numéricos que abrangem intervalos distintos (por exemplo, idade e renda).
Também recomendamos normalizar um único elemento numérico que abranja uma ampla faixa, como city population.
Considere os dois recursos a seguir:
- O valor mais baixo do recurso
Aé -0,5, e o mais alto é +0,5. - O valor mais baixo do recurso
Bé -5,0, e o mais alto é +5,0.
Os recursos A e B têm intervalos relativamente estreitos. No entanto, o período do recurso B é 10 vezes maior que o do recurso A. Assim:
- No início do treinamento, o modelo assume que o atributo
Bé dez vezes mais "importante" do que o atributoA. - O treinamento vai demorar mais do que o esperado.
- O modelo resultante pode não ser o ideal.
O dano geral devido à não normalização será relativamente pequeno. No entanto, ainda recomendamos normalizar o recurso A e o recurso B na mesma escala, talvez de -1,0 a +1,0.
Agora considere dois recursos com uma maior disparidade de intervalos:
- O valor mais baixo do recurso
Cé -1, e o mais alto é +1. - O valor mais baixo do recurso
Dé +5.000, e o mais alto é +1.000.000.000.
Se você não normalizar o recurso C e o recurso D, seu modelo provavelmente
não será ideal. Além disso, o treinamento vai levar muito mais tempo para
convergir ou até mesmo falhar completamente.
Esta seção aborda três métodos de normalização comuns:
- escalonamento linear
- Escalonamento do escore padronizado
- dimensionamento logarítmico
Esta seção também aborda cortes. Embora não seja uma técnica de normalização verdadeira, o recorte acalma os atributos numéricos indisciplinados em intervalos que produzem modelos melhores.
Dimensionamento linear
Dimensionamento linear (mais comumente abreviado para apenas dimensionamento) significa converter valores de ponto flutuante do intervalo natural em um intervalo padrão, geralmente de 0 a 1 ou -1 a +1.
O escalonamento linear é uma boa escolha quando todas as condições a seguir são atendidas:
- Os limites mínimo e máximo dos dados não mudam muito ao longo do tempo.
- O recurso tem poucos ou nenhum valor fora da curva, e esses valores não são extremos.
- O recurso é distribuído de forma aproximadamente uniforme em todo o intervalo. Ou seja, um histograma mostraria barras aproximadamente uniformes para a maioria dos valores.
Suponha que o age humano seja um recurso. A escala linear é uma boa técnica de
normalização para age porque:
- Os limites inferior e superior aproximados são de 0 a 100.
agecontém uma porcentagem relativamente pequena de valores discrepantes. Apenas cerca de 0,3% da população tem mais de 100 anos.- Embora algumas idades sejam representadas melhor do que outras, um grande conjunto de dados precisa conter exemplos suficientes de todas as idades.
Exercício: testar seu conhecimento
Suponha que seu modelo tenha um recurso chamadonet_worth que armazena o valor líquido de pessoas diferentes. A escala linear seria uma boa técnica de
normalização para net_worth? Por que sim ou por que não?
Escalonamento do escore padronizado
Um Z-score é o número de desvios padrão de um valor em relação à média. Por exemplo, um valor maior que a média de 2 desvios padrão tem um Z-score de +2,0. Um valor menor que 1,5 desvios padrão que a média tem um Z-score de -1,5.
Representar um atributo com dimensionamento de Z-score significa armazenar o Z-score desse atributo no vetor de atributos. Por exemplo, a figura a seguir mostra dois histogramas:
- À esquerda, uma distribuição normal clássica.
- À direita, a mesma distribuição normalizada pela escala de pontuação Z.
A escala de Z-score também é uma boa escolha para dados como os mostrados na figura a seguir, que tem apenas uma distribuição vagamente normal.
O z-score é uma boa opção quando os dados seguem uma distribuição normal ou uma distribuição semelhante a uma distribuição normal.
Algumas distribuições podem ser normais dentro do
intervalo, mas ainda contêm valores extremos. Por exemplo, quase todos os pontos em um atributo net_worth podem se encaixar perfeitamente em três desvios padrão, mas alguns exemplos desse atributo podem estar a centenas de desvios padrão da média. Nessas situações, você pode combinar o escalonamento do Z-score com
outra forma de normalização (geralmente recorte) para lidar com essa situação.
Exercício: testar seu conhecimento
Suponha que seu modelo seja treinado com um recurso chamadoheight, que armazena as alturas
de adultos de dez milhões de mulheres. A escala de pontuação z seria uma boa técnica de normalização
para height? Por que sim ou por que não?
Dimensionamento logarítmico
A escala logarítmica calcula o logaritmo do valor bruto. Em teoria, o logaritmo pode ser qualquer base. Na prática, a escala logarítmica geralmente calcula o logaritmo natural (ln).
A escala logarítmica é útil quando os dados estão em conformidade com uma distribuição de lei de potência. Informalmente, uma distribuição de lei de potência é assim:
- Valores baixos de
Xtêm valores muito altos deY. - À medida que os valores de
Xaumentam, os valores deYdiminuem rapidamente. Consequentemente, valores altos deXtêm valores muito baixos deY.
As classificações de filmes são um bom exemplo de distribuição de lei de potência. Na figura a seguir, observe o seguinte:
- Alguns filmes têm muitas classificações dos usuários. Valores baixos de
Xtêm valores altos deY. - A maioria dos filmes tem poucas classificações dos usuários. Os valores altos de
Xtêm valores baixos deY.
A escala logarítmica muda a distribuição, o que ajuda a treinar um modelo que fará previsões melhores.
Como segundo exemplo, as vendas de livros se conformam a uma distribuição de lei de potência porque:
- A maioria dos livros publicados vende um número pequeno de cópias, talvez cem ou duzentas.
- Alguns livros vendem um número moderado de cópias, na casa dos milhares.
- Apenas alguns best-sellers vão vender mais de um milhão de cópias.
Suponha que você esteja treinando um modelo linear para encontrar a relação entre, por exemplo, capas de livros e vendas de livros. Um treinamento de modelo linear em valores brutos precisaria encontrar algo sobre capas de livros que vendem um milhão de cópias que seja 10.000 vezes mais poderoso do que capas de livros que vendem apenas 100 cópias. No entanto, a escalação de registro de todos os valores de vendas torna a tarefa muito mais viável. Por exemplo, o registro de 100 é:
~4.6 = ln(100)
enquanto o registro de 1.000.000 é:
~13.8 = ln(1,000,000)
Portanto, o registro de 1.000.000 é apenas cerca de três vezes maior que o registro de 100. Você provavelmente poderia imaginar que a capa de um livro mais vendido é cerca de três vezes mais poderosa (de alguma forma) do que a capa de um livro que vende pouco.
Corte
Limitar é uma técnica para minimizar a influência de outliers extremos. Em resumo, o truncamento geralmente limita (reduz) o valor de valores discrepantes para um valor máximo específico. O recorte é uma ideia estranha, mas pode ser muito eficaz.
Por exemplo, imagine um conjunto de dados com um recurso chamado roomsPerPerson,
que representa o número de cômodos (total de cômodos dividido
pelo número de ocupantes) de várias casas. O gráfico a seguir mostra que mais de 99% dos valores de atributos estão em conformidade com uma distribuição normal (aproximadamente, uma média de 1,8 e um desvio padrão de 0,7). No entanto, o recurso contém
algumas discrepâncias, algumas delas extremas:
Como você pode minimizar a influência desses outliers extremos? O
histograma não é uma distribuição uniforme, normal ou de lei de potência. E se você simplesmente limitar ou cortar o valor máximo de
roomsPerPerson em um valor arbitrário, digamos 4,0?
Cortar o valor do recurso em 4,0 não significa que o modelo ignora todos os valores maiores que 4,0. Em vez disso, significa que todos os valores maiores que 4.0 agora se tornam 4.0. Isso explica a colina peculiar em 4,0. Apesar disso, o conjunto de recursos dimensionado agora é mais útil do que os dados originais.
Espere um momento! É possível reduzir todos os valores discrepantes para um limite superior arbitrário? Ao treinar um modelo, sim.
Também é possível cortar valores depois de aplicar outras formas de normalização. Por exemplo, suponha que você use a escala de Z-score, mas alguns valores discrepantes tenham valores absolutos muito maiores que 3. Nesse caso, você pode:
- Recorte escores Z maiores que 3 para que se tornem exatamente 3.
- Cortar escores Z menores que -3 para se tornarem exatamente -3.
O recorte evita que o modelo faça uma indexação excessiva de dados não importantes. No entanto, alguns valores discrepantes são importantes, então corte os valores com cuidado.
Resumo das técnicas de normalização
| Técnica de normalização | Fórmula | Quando usar |
|---|---|---|
| Dimensionamento linear | $$ x' = \frac{x - x_{min}}{x_{max} - x_{min}} $$ | Quando o recurso é distribuído de forma uniforme em todo o intervalo. Em forma de sino |
| Escalonamento do escore padronizado | $$ x' = \frac{x - μ}{σ}$$ | Quando o atributo é distribuído normalmente (pico próximo à média). Plana |
| Dimensionamento logarítmico | $$ x' = log(x)$$ | Quando a distribuição do recurso está muito distorcida em pelo menos um dos lados da cauda. Heavy Tail |
| Corte | Se $x > max$, defina $x' = max$ Se $x < min$, defina $x' = min$ |
Quando o atributo contém valores extremos. |
Exercício: teste seus conhecimentos
Suponha que você esteja desenvolvendo um modelo que prevê a produtividade de um data center com base na temperatura medida dentro dele.
Quase todos os valores de temperature no conjunto de dados estão entre 15 e 30 (Celsius), com as seguintes exceções:
- Uma ou duas vezes por ano, em dias extremamente quentes, alguns valores entre 31 e 45 são registrados em
temperature. - Cada milésimo ponto em
temperatureé definido como 1.000, em vez da temperatura real.
Qual seria uma técnica de normalização razoável para
temperature?
Os valores de 1.000 são erros e precisam ser excluídos em vez de serem cortados.
Os valores entre 31 e 45 são pontos de dados legítimos. O corte provavelmente seria uma boa ideia para esses valores, supondo que o conjunto de dados não contenha exemplos suficientes nessa faixa de temperatura para treinar o modelo e fazer boas previsões. No entanto, durante a inferência, o modelo cortado faria a mesma previsão para uma temperatura de 45 e de 35.