Um modelo de machine learning não pode ver, ouvir ou sentir exemplos de entrada diretamente. Em vez disso, é necessário criar uma representação dos dados para fornecer ao modelo um ponto de observação útil para as principais qualidades dos dados. Ou seja, para treinar um modelo, você precisa escolher o conjunto de atributos que melhor representa os dados.
Representação
De dados brutos a atributos
A ideia é mapear cada parte do vetor à esquerda em um ou mais campos no vetor de atributos à direita.
De dados brutos a atributos
De dados brutos a atributos
De dados brutos a atributos
- O dicionário mapeia cada nome de rua para um int em {0, ...,V-1}
- Agora, represente o vetor one-hot acima como <i>
Propriedades de um bom atributo
Os valores do atributo precisam aparecer com um valor diferente de zero mais do que algumas vezes no conjunto de dados.
my_device_id:8SK982ZZ1242Z
device_model:galaxy_s6
Propriedades de um bom atributo
Os recursos precisam ter um significado claro e óbvio.
user_age:23
user_age:123456789
Propriedades de um bom atributo
Os atributos não devem assumir valores"mágicos"
Use um recurso booleano adicional como is_watch_time_defined em vez disso.
watch_time: -1.0
watch_time: 1.023
watch_time_is_defined: 1.0
Propriedades de um bom atributo
A definição de um recurso não muda com o tempo.
Cuidado ao depender de outros sistemas de ML.
city_id:"br/sao_paulo"
inferred_city_cluster_id:219
Propriedades de um bom atributo
A distribuição não pode ter outliers extremos
O ideal é que todos os atributos sejam transformados em um intervalo semelhante, como (-1, 1) ou (0, 5).
Truques de espuma
Truques de espuma
- Crie várias caixas booleanas, cada uma mapeando para um novo recurso exclusivo
- Permite que o modelo ajuste um valor diferente para cada classe
Bons hábitos
SAIBA SEUS DADOS
- Visualizar: histogramas de gráficos, classificação mais comum ou menos comum.
- Depuração: há exemplos duplicados? Valores ausentes? outliers? Os dados concordam com os painéis? Os dados de treinamento e validação são semelhantes?
- Monitorar: quantis de recursos e número de exemplos ao longo do tempo?