Este documento aborda os problemas mais frequentes enfrentados pelos proprietários de dados ao criar conjuntos de dados DSPL e fazer upload deles para o Public Data Explorer.
Índice
Dúvidas gerais
O que é DSPL?
DSPL significa Linguagem de Publicação de Conjuntos de Dados. É um formato de representação para os metadados (informações sobre o conjunto de dados, como nome e provedor, além dos conceitos que ele contém e exibe) e os dados reais dos conjuntos de dados. Os metadados são especificados em XML, enquanto os dados são fornecidos no formato CSV.
Quais são as principais vantagens de usar a DSPL?
A DSPL foi projetada do zero para visualizações de dados avançadas, como as da Pesquisa de Dados Públicos. Para criá-los, é necessário ter metadados detalhados sobre frações, dimensões e métricas, entidades que não são tão bem aceitas em outros formatos de conjunto de dados.
A DSPL também é compatível com importações de conjuntos de dados, hierarquias de conceitos (por exemplo, "país" é filho de "continente"), dados geocodificados e vários outros recursos exclusivos que melhoram a experiência de exploração de dados.
A DSPL é um substituto para outros formatos usados para troca e/ou análise de dados?
Geralmente não. Como observado na resposta anterior, a DSPL foi projetada para visualização e exploração interativas. Ele não se destina a ser um formato genérico de intercâmbio ou análise de dados que faz tudo.
Por fim, consideramos a DSPL como complementar a outros formatos. Os usuários devem poder criar conjuntos de dados DSPL de outras fontes para criar visualizações de dados ricas e interativas.
O que posso fazer com um conjunto de dados DSPL?
É possível importá-lo para o Pesquisa de Dados Públicos, publicá-lo e permitir que outras pessoas explorem os dados por meio de visualizações ricas e interativas. Os conjuntos de dados publicados também podem ser incluídos no Diretório de dados públicos para que os usuários interessados possam encontrá-los.
No momento, esse é o único aplicativo que usa a DSPL. No entanto, incentivamos as pessoas a usá-lo para outros aplicativos e esperamos que a adoção cresça com o tempo.
Quais tipos de conjuntos de dados são mais adequados para a DSPL?
O formato DSPL é compatível com coleções arbitrárias de tabelas e, portanto, é adequado para uma ampla variedade de tipos de conjuntos de dados. No entanto, apenas um subconjunto de conjuntos de dados DSPL produzirá visualizações interessantes no Public Data Explorer. O último produto, em particular, funciona melhor para dados que são:
- Quantitativo: cada ponto de dados tem uma ou mais métricas numéricas associadas a ele (por exemplo, "população", "número de casos de gripe", "receita").
- Categóricos: os dados podem ser organizados em um número finito de categorias descritíveis por texto (por exemplo, "países", "gêneros", "faixas etárias").
- Série temporal: para cada categoria, as métricas de dados variam em função do tempo, e os pontos adjacentes estão separados por pelo menos um dia (a Pesquisa de Dados Públicos não pode visualizar incrementos de tempo menores que um dia).
- Agregados: para cada combinação de tempo / categoria / métrica, há um único ponto de dados, não uma lista de eventos ou fatos.
Criei um conjunto de dados DSPL e gostaria que ele aparecesse no Diretório de Dados Públicos do Google para que outras pessoas possam encontrá-lo. Com quem eu falo?
Preencha este formulário e forneça um link para seu conjunto de dados.
Estou com problemas com a DSPL. Onde posso receber ajuda?
Poste seu problema no fórum de discussão da DSPL.
Arquivos de conjunto de dados DSPL
Como devo codificar meus arquivos XML e CSV?
Todos os arquivos XML e CSV precisam ser codificados em UTF-8. O ASCII (às vezes chamado de "texto simples") é um subconjunto de UTF-8. Portanto, conjuntos de dados nesse formato também devem funcionar.
Qual software devo usar para criar e editar meus arquivos de conjunto de dados?
Um editor de texto simples, com destaque de sintaxe para fins de legibilidade, é a escolha recomendada para editar seus arquivos XML. Consulte este artigo para ver algumas recomendações específicas da plataforma. Não recomendamos o uso de processadores de texto completos e de uso geral, porque eles tendem a inserir tags de formatação adicionais no XML, o que pode causar erros de importação.
Uma planilha geralmente é a maneira mais fácil de criar e editar seus arquivos de dados. Salve-os no formato correto (CSV / valores separados por vírgula).
Tenho dados no Excel, SPSS, SAS ou em outro sistema. Posso importá-los diretamente para o Pesquisa de Dados Públicos?
Agora não. Primeiro, é preciso exportar os dados para o formato CSV, adicionar os metadados XML apropriados e, em seguida, fazer upload de um conjunto de dados compatível com DSPL no Pesquisa de Dados Públicos.
O nome dos meus arquivos é importante?
O nome do arquivo XML do conjunto de dados precisa terminar em .xml.
Os arquivos de dados CSV associados podem ter qualquer nome, desde que correspondam
aos nomes fornecidos nas tags <file> nos metadados XML.
O arquivo ZIP usado para empacotar e importar o conjunto de dados para a Pesquisa de Dados Públicos também pode ter qualquer nome.
Meus arquivos CSV precisam ser classificados?
Sim. Ordene o conteúdo dos arquivos CSV pelas dimensões que não são de tempo (em qualquer ordem ou direção) e, se quiser, por qualquer uma das outras colunas (por exemplo, tempo).
Por exemplo, se você tiver um CSV com as colunas date,
dimension1, dimension2, metric1 e
metric2, classifique por dimension1 e
dimension2 (em qualquer ordem). Se você também quiser classificar pela
coluna de data/hora, essa precisa ser a última classificação.
A classificação dessa forma mantém as observações de cada série temporal agrupadas, o que melhora muito a eficiência do processo de importação da DSPL.
Modelo e sintaxe XML
Como decidir o que deve ser uma métrica e o que deve ser uma dimensão?
Uma dimensão é uma entidade usada para segmentar ou filtrar seus dados. Uma métrica, por outro lado, descreve o valor ou os valores observados associados a cada ponto de dados.
Em geral, as dimensões são categóricas, enquanto as métricas são valores numéricos não categóricos que variam com o tempo. Veja alguns exemplos prototípicos de cada um:
- Dimensões: país, estado, município, região, ano, mês, sexo, faixa etária, segmento do setor
- Métricas: população, PIB, taxa de desemprego, alfabetização, receita, custo, preço
Qual é a diferença entre uma propriedade e um atributo?
As propriedades são anexadas a cada instância de um conceito. Por exemplo, uma
propriedade de continente terá valores diferentes para países diferentes.
Por outro lado, os atributos estão associados ao conceito como um todo.
Por exemplo: um atributo isParent é verdadeiro para todos os
continentes.
A ordem das tags é importante?
Sim. Adicione as tags na ordem em que aparecem no Guia para desenvolvedores. Por
exemplo, <topic> precisa aparecer antes de
<type> na definição de um conceito.
O uso de letras maiúsculas é importante?
Sim, os nomes de tags e atributos XML precisam ser escritos com letras maiúsculas da mesma
maneira que aparecem no Guia para desenvolvedores. Por
exemplo, usar isparent em vez de isParent em uma
tag property vai causar um erro de importação.
Um conceito pode ter dois pais?
Não. Cada conceito pode ter apenas uma referência isParent.
Um conceito pode se referir a si mesmo?
Sim. Consulte o conjunto de dados de vendas de varejo dos EUA para ver um exemplo de hierarquia de conceitos autorreferenciada.
Formatação de dados
Como faço para formatar datas?
As datas podem ser escritas em qualquer formato que possa ser descrito com o
padrão Joda DateTime. O código de formatação Joda precisa ser armazenado em um
atributo format no elemento de coluna da tabela
correspondente.
Os códigos de formatação Joda para alguns formatos de data comuns estão listados abaixo:
| Exemplo de data | Formato Joda |
|---|---|
| 2010 | yyyy |
| Maio de 2010 | MMM yyyy |
| 21/05/2010 | MM/dd/yyyy |
| 21/05/2010 | dd/MM/yyyy |
| 2010-05-21 | yyyy-MM-dd |
Em particular, observe que o código Joda para caracteres de mês é
M, não m (que representa minutos).
Posso usar unidades de tempo menores que um dia?
O formato DateTime do Joda e, portanto, também a DSPL, aceita valores de tempo até a ordem de milissegundos. No entanto, o Pesquisa de Dados Públicos ainda não pode visualizar granularidades temporais menores que um dia.
Como usar conceitos canônicos
O que são "conceitos canônicos" e como eles são úteis?
O termo "conceitos canônicos" se refere a um conjunto de conceitos criados pelo Google que servem como "blocos de construção" básicos em outros conjuntos de dados. Os conceitos em si são definidos em seis conjuntos de dados da DSPL que os agrupam em categorias como "tempo", "região geográfica" etc. Para acessar esses conceitos, basta importar os conjuntos de dados pai adequados no início do arquivo XML da DSPL.
Os conceitos canônicos são úteis porque ajudam a economizar tempo (por exemplo, ao não
precisar inserir manualmente os valores de latitude e longitude para cada país do
mundo) e também sinalizam como os dados serão visualizados. Por
exemplo, o Pesquisa de Dados Públicos usa os conceitos time:...
para formatar o eixo x do gráfico de linhas, usa a propriedade name do
conceito entity:entity para produzir strings para a IU do seletor de
dimensões, usa as propriedades latitude e longitude
de geo:location para exibir dados na visualização
do mapa e assim por diante.
Todos os conceitos canônicos são compreendidos pelo Pesquisa de Dados Públicos?
Embora a maioria dos conceitos canônicos fornecidos seja compreendida pelo Pesquisa de Dados Públicos, alguns (ainda) não são visualizáveis. Eles estão listados abaixo, junto com algumas sugestões de soluções alternativas:
| Conceito | Alternativa |
|---|---|
quantity:index |
Use quantity:ratio ou quantity:magnitude. |
time:quarter |
Use time:month conforme descrito no Guia de DSPL. |
time:week |
Use time:day conforme descrito no Guia de DSPL. |
Fique de olho nas próximas atualizações para um suporte melhor a esses conceitos.
Como usar um conceito canônico no meu conjunto de dados?
Consulte a documentação do conceito específico que você quer usar e confira também o Manual da DSPL, que tem instruções detalhadas e explicadas passo a passo para os conceitos mais comuns.
Como importar e visualizar conjuntos de dados
Por que não consigo importar meu conjunto de dados?
A interface de upload da Pesquisa de Dados Públicos vai verificar seu conjunto de dados DSPL e bloquear a importação se algum erro for detectado. O importador é muito sensível à ortografia, ao uso de maiúsculas e minúsculas e à ordem/posição das tags no arquivo XML, bem como ao layout e à classificação dos dados nos arquivos CSV. Por isso, pode ser necessário fazer algumas tentativas para acertar esses detalhes e importar o conjunto de dados.
A primeira etapa para resolver esses problemas é analisar as mensagens de erro fornecidas na interface e tomar a ação corretiva adequada. Como essas mensagens nem sempre são fáceis de entender (algo que estamos tentando melhorar), compilamos uma tabela que explica as mais comuns:
| Erro | Explicação |
|---|---|
| chave duplicada: ... | A tabela de definição do seu conceito tem um valor de ID repetido (ou seja, um valor na coluna com o mesmo nome do conceito). Esses valores são usados para identificar exclusivamente instâncias individuais do conceito, portanto, não são permitidas duplicatas. |
| Exceção na análise de linhas de dados da origem causada por: a combinação de propriedades, [...], aparece em mais de um grupo distinto de linhas nos dados. | O CSV não está classificado corretamente. Consulte a discussão acima para ver instruções sobre como fazer isso. |
| Exceção na análise de linhas de dados da origem causada por formato inválido: "..." está malformado em "..." | A formatação desse valor (geralmente uma data) no CSV não é consistente com o formato fornecido no arquivo XML. Mude o formato ou o valor para que eles correspondam. |
| Exceção na análise de linhas de dados da origem causada por "O número de elementos na linha (...) não corresponde ao número de propriedades especificadas (...) para a linha: [...]" | Uma linha no CSV tem valores demais ou de menos. Corrija a formatação dessa linha. |
| Exceção na análise de linhas de dados da origem causada por "For input string: '...'" | Um valor no CSV (normalmente um número inteiro ou flutuante) tem caracteres não numéricos (por exemplo, um símbolo de dólar, um sinal de porcentagem etc.) que impedem que ele seja analisado corretamente. Remova esses caracteres extras. |
| Exceção na análise de linhas de dados da origem causada pelo valor de dados "..." para a propriedade "..." da fração "..." não é um valor de chave do conceito referenciado "...". | Uma das frações contém um valor de dimensão não reconhecido (ou seja, um que não esteja na lista de todos os valores possíveis para o conceito correspondente). Volte para a tabela de definição de conceito de dimensão e adicione o valor, se necessário. |
| O cabeçalho "..." nos dados é uma propriedade constante na tabela | O cabeçalho da coluna no CSV não corresponde ao ID da coluna definido na definição da tabela XML. Mude um deles para que sejam iguais. |
| Erro de análise de XML ... Foi encontrado um conteúdo inválido que começa com o elemento '...'. É esperado um dos seguintes: '{...}', '{...}', ... | O elemento XML referenciado não está no lugar certo. Verifique se
a ordem está correta e se o elemento tem o pai
correto (por exemplo, info para name). |
| Erro de análise de XML ... O atributo '...' não pode aparecer no elemento '...'. | A ortografia, o uso de maiúsculas e minúsculas ou o local desse atributo de tag XML está incorreto. Consulte a documentação para saber como usar. |
| Erro de análise de XML. ... O elemento '...' não pode ter caracteres [filhos], porque o tipo de conteúdo do tipo é somente elemento. | Há um texto perdido no arquivo XML (possivelmente causado por
uma tag sem < ou >). Corrija
o texto e tente de novo. |
Se você tiver dificuldade para entender uma mensagem que não está na lista acima, poste uma mensagem no fórum da DSPL, e vamos tentar ajudar.
Meu conjunto de dados foi importado com sucesso, mas não consigo fazer com que as visualizações apareçam no Pesquisa de Dados Públicos. O que está acontecendo?
Esse problema ocorre quando o conjunto de dados é uma DSPL válida, mas não está no subconjunto de DSPL que pode ser visualizado na Pesquisa de Dados Públicos. Há muitas causas possíveis para isso. As mais comuns são:
- Definição de um conceito de dimensão sem uma tabela: sem essas informações, a Pesquisa de Dados Públicos não sabe quais opções exibir na interface.
- Criar um conjunto de dados apenas com métricas: o Public Data Explorer exige pelo menos uma dimensão categórica (ou seja, não temporal) definida em algum lugar do conjunto de dados para estruturar corretamente a interface de visualização.
- Não incluir uma dimensão de tempo nas fatias: o Pesquisa de Dados Públicos só pode visualizar séries temporais. As frações que não são de tempo serão ignoradas pelo produto.
- Uso de uma dimensão de tempo diferente das canônicas
time:...: a Pesquisa de Dados Públicos usa os conceitos canônicostimepara organizar e animar as várias visualizações no produto. Ela não entende outros conceitos de tempo, como os criados no seu próprio conjunto de dados. - Uso de valores de tempo muito grandes ou muito pequenos: o Pesquisa de Dados Públicos ainda não visualiza conjuntos de dados com granularidades temporais menores que um dia. Por outro lado, a ferramenta tem problemas com valores de ano muito grandes (por exemplo, na casa das dezenas de milhares). Esperamos tornar essas granularidades mais flexíveis no futuro.
Como faço para integrar o conjunto de dados visualizado ao meu site?
Consulte este artigo na Central de Ajuda da Pesquisa de Dados Públicos. Como explicado no segundo, é possível fazer uma "incorporação completa" (ou seja, uma que inclua os controles de análise) ajustando manualmente o URL de incorporação.