Ce document traite des problèmes les plus fréquents rencontrés par les propriétaires de données lors de la création d'ensembles de données DSPL et de leur importation dans Public Data Explorer.
Sommaire
Questions d'ordre général
Qu'est-ce que le DSPL ?
DSPL signifie Dataset Publishing Language (langage de publication d'ensembles de données). Il s'agit d'un format de représentation à la fois pour les métadonnées (informations sur l'ensemble de données, telles que son nom et son fournisseur, ainsi que les concepts qu'il contient et affiche) et les données réelles des ensembles de données. Les métadonnées sont spécifiées au format XML, tandis que les données sont fournies au format CSV.
Quels sont les principaux avantages de l'utilisation du langage DSPL ?
Le langage DSPL est conçu dès le départ pour les visualisations de données enrichies, comme celles de Public Data Explorer. Pour les créer, vous devez disposer de métadonnées détaillées sur les segments, les dimensions et les métriques, des entités qui ne sont pas aussi bien prises en charge dans d'autres formats d'ensembles de données.
Le langage DSPL est également compatible avec l'importation d'ensembles de données, les hiérarchies de concepts (par exemple, "pays" est l'enfant de "continent"), les données géocodées et un certain nombre d'autres fonctionnalités uniques qui améliorent l'expérience d'exploration des données.
Le langage DSPL remplace-t-il d'autres formats utilisés pour l'échange et/ou l'analyse de données ?
En général, non. Comme indiqué dans la réponse précédente, le langage DSPL est conçu pour la visualisation et l'exploration interactives. Il n'est pas conçu comme un format d'échange ou d'analyse de données générique et polyvalent.
En fin de compte, nous considérons le langage DSPL comme complémentaire des autres formats. Les utilisateurs doivent pouvoir créer des ensembles de données DSPL à partir d'autres sources afin de créer des visualisations de données riches et interactives.
Que puis-je faire avec un ensemble de données DSPL ?
Vous pouvez l'importer dans Public Data Explorer, le publier et permettre à d'autres utilisateurs d'explorer les données via des visualisations riches et interactives. Les ensembles de données publiés peuvent également être inclus dans le répertoire de données publiques afin que les utilisateurs intéressés puissent les trouver.
Actuellement, il s'agit de la seule application utilisant le langage DSPL. Toutefois, nous encourageons les utilisateurs à l'utiliser pour d'autres applications et nous pensons que l'adoption augmentera au fil du temps.
Quels types d'ensembles de données sont les plus adaptés au langage DSPL ?
Le format DSPL est compatible avec les collections arbitraires de tables et convient donc à une grande variété de types d'ensembles de données. Toutefois, seul un sous-ensemble d'ensembles de données DSPL produira des visualisations intéressantes dans Public Data Explorer. Ce dernier produit, en particulier, fonctionne mieux pour les données qui sont :
- Quantitatif : chaque point de données est associé à une ou plusieurs métriques numériques (par exemple, "population", "nombre de cas de grippe", "revenu").
- Catégoriel : les données peuvent être organisées en un nombre fini de catégories descriptibles par du texte (par exemple, "pays", "genres", "tranches d'âge").
- Série temporelle : pour chaque catégorie, les métriques de données varient en fonction du temps, et les points adjacents sont espacés d'au moins un jour (Public Data Explorer ne peut pas visualiser des incréments de temps inférieurs à un jour).
- Agrégées : pour chaque combinaison de période/catégorie/métrique, il existe un seul point de données, et non une liste d'événements ou de faits.
J'ai créé un ensemble de données DSPL et je souhaite qu'il apparaisse dans l'annuaire Google Public Data pour que d'autres personnes puissent le trouver. Qui dois-je contacter ?
Veuillez remplir ce formulaire et fournir un lien vers votre ensemble de données.
Je rencontre des problèmes avec DSPL. Où puis-je obtenir de l'aide ?
Veuillez publier votre problème sur le forum de discussion DSPL.
Fichiers d'ensemble de données DSPL
Comment dois-je encoder mes fichiers XML et CSV ?
Tous les fichiers XML et CSV doivent être encodés au format UTF-8. Notez que le code ASCII (parfois appelé "texte brut") est un sous-ensemble d'UTF-8. Les ensembles de données dans ce format devraient donc également fonctionner.
Quel logiciel dois-je utiliser pour créer et modifier mes fichiers d'ensemble de données ?
Nous vous recommandons d'utiliser un éditeur de texte brut avec coloration syntaxique pour modifier vos fichiers XML. Consultez cet article pour obtenir des recommandations spécifiques à votre plate-forme. Nous vous déconseillons d'utiliser des traitements de texte complets et à usage général, car ils ont tendance à insérer des balises de mise en forme supplémentaires dans votre fichier XML, ce qui peut entraîner des erreurs d'importation.
Une feuille de calcul est généralement le moyen le plus simple de créer et de modifier vos fichiers de données. Veillez simplement à les enregistrer au bon format (CSV/valeurs séparées par une virgule).
Je dispose de données dans Excel, SPSS, SAS ou un autre système. Puis-je les importer directement dans Public Data Explorer ?
Non, pas pour l'instant. Vous devez d'abord exporter vos données au format CSV, ajouter les métadonnées XML appropriées, puis importer un ensemble de données conforme au format DSPL dans Public Data Explorer.
Le nom de mes fichiers a-t-il une importance ?
Le nom de votre fichier XML d'ensemble de données doit se terminer par .xml.
Les fichiers de données CSV associés peuvent porter n'importe quel nom, à condition qu'ils correspondent aux noms indiqués dans les balises <file> de vos métadonnées XML.
Le fichier ZIP utilisé pour empaqueter et importer l'ensemble de données dans Public Data Explorer peut également porter n'importe quel nom.
Dois-je trier mes fichiers CSV ?
Oui. Vous devez trier le contenu de vos fichiers CSV par dimensions non temporelles (dans n'importe quel ordre ou direction), puis, éventuellement, par l'une des autres colonnes (par exemple, l'heure).
Par exemple, si vous disposez d'un fichier CSV contenant les colonnes date, dimension1, dimension2, metric1 et metric2, vous devez trier par dimension1 et dimension2 (dans n'importe quel ordre). Si vous souhaitez également trier par colonne de date/heure, vous devez trier par cette colonne en dernier.
Ce tri permet de regrouper les observations pour chaque série temporelle, ce qui améliore considérablement l'efficacité du processus d'importation DSPL.
Modèle et syntaxe XML
Comment décider de ce qui doit être une métrique et de ce qui doit être une dimension ?
Une dimension est une entité utilisée pour segmenter ou filtrer vos données. Une métrique, en revanche, décrit la ou les valeurs observées associées à chaque point de données.
En règle générale, les dimensions sont catégorielles, tandis que les métriques sont des valeurs numériques non catégorielles, variables dans le temps. Voici quelques exemples prototypiques de chaque type :
- Dimensions : pays, État, comté, région, année, mois, sexe, catégorie d'âge, segment d'activité
- Métriques : population, PIB, taux de chômage, alphabétisation, revenus, coût, prix
Quelle est la différence entre une propriété et un attribut ?
Les propriétés sont associées à chaque instance d'un concept. Par exemple, une propriété "continent" aura des valeurs différentes pour différents pays.
En revanche, les attributs sont associés au concept dans son ensemble.
Par exemple, un attribut isParent est vrai pour tous les continents.
L'ordre des balises est-il important ?
Oui. Ajoutez vos balises dans l'ordre dans lequel elles apparaissent dans le guide du développeur. Par exemple, <topic> doit apparaître avant <type> dans la définition d'un concept.
La casse est-elle importante ?
Oui, les noms de vos balises et attributs XML doivent respecter la casse indiquée dans le guide du développeur. Par exemple, l'utilisation de isparent au lieu de isParent dans une balise property entraîne une erreur d'importation.
Un concept peut-il avoir deux parents ?
Non. Chaque concept ne peut avoir qu'une seule référence isParent.
Un concept peut-il faire référence à lui-même ?
Oui. Consultez l'ensemble de données sur les ventes au détail aux États-Unis pour obtenir un exemple de hiérarchie de concepts autoréférencée.
Formatage des données
Comment mettre en forme les dates ?
Les dates peuvent être écrites dans n'importe quel format pouvant être décrit avec la norme Joda DateTime. Le code de mise en forme Joda doit être stocké dans un attribut format de l'élément de colonne de table correspondant.
Les codes de mise en forme Joda pour certains formats de date courants sont listés ci-dessous :
| Exemple de date | Format Joda |
|---|---|
| 2010 | yyyy |
| Mai 2010 | MMM yyyy |
| 21/05/2010 | MM/dd/yyyy |
| 21/05/2010 | dd/MM/yyyy |
| 2010-05-21 | yyyy-MM-dd |
Notez en particulier que le code Joda pour les caractères de mois est M, et non m (qui représente les minutes).
Puis-je utiliser des unités de temps inférieures à un jour ?
Le format Joda DateTime, et donc également le langage DSPL, accepte les valeurs temporelles jusqu'à l'ordre des millisecondes. Toutefois, Public Data Explorer ne peut pas (encore) visualiser des précisions temporelles inférieures à un jour.
Utiliser des concepts canoniques
Que sont les "concepts canoniques" et en quoi sont-ils utiles ?
Le terme "concepts canoniques" fait référence à un ensemble de concepts créés par Google qui sont destinés à servir de "composants" de base dans d'autres ensembles de données. Les concepts eux-mêmes sont définis dans six ensembles de données DSPL qui les regroupent dans des catégories telles que "time", "geo", etc. Pour accéder à ces concepts, il vous suffit d'importer les ensembles de données parents appropriés au début de votre fichier XML DSPL.
Les concepts canoniques sont utiles, car ils permettent de gagner du temps (par exemple, en évitant d'avoir à saisir manuellement les valeurs de latitude et de longitude pour chaque pays du monde) et indiquent également comment vos données doivent être visualisées. Par exemple, Public Data Explorer utilise les concepts time:... pour mettre en forme l'axe des abscisses du graphique en courbes, la propriété name du concept entity:entity pour produire des chaînes pour l'interface utilisateur du sélecteur de dimensions, les propriétés latitude et longitude de geo:location pour afficher les données dans la visualisation de la carte, etc.
Tous les concepts canoniques sont-ils compris par Public Data Explorer ?
La plupart des concepts canoniques fournis sont compris par Public Data Explorer, mais certains ne sont pas (encore) visualisables. Ils sont listés ci-dessous, avec quelques solutions de contournement suggérées :
| Concept | Solution |
|---|---|
quantity:index |
Utilisez quantity:ratio ou quantity:magnitude à la place. |
time:quarter |
Utilisez time:month comme décrit dans le guide de référence DSPL. |
time:week |
Utilisez time:day comme décrit dans le guide de référence DSPL. |
Nous prévoyons d'améliorer la prise en charge de ces concepts à l'avenir.
Comment utiliser un concept canonique dans mon ensemble de données ?
Consultez la documentation du concept que vous souhaitez utiliser, ainsi que le guide de recettes DSPL, qui contient des instructions détaillées pour les concepts les plus courants.
Importer et visualiser des ensembles de données
Pourquoi ne puis-je pas importer mon ensemble de données ?
L'interface d'importation de Public Data Explorer analyse votre ensemble de données DSPL et bloque son importation si des erreurs sont détectées. L'outil d'importation est très sensible à l'orthographe, à la casse et à l'ordre/au placement des balises dans votre fichier XML, ainsi qu'à la mise en page et au tri des données dans vos fichiers CSV. Il vous faudra peut-être plusieurs essais pour que tout soit correct et que votre ensemble de données soit importé correctement.
La première étape pour résoudre ces problèmes consiste à examiner les messages d'erreur affichés dans l'interface utilisateur et à prendre les mesures correctives appropriées. Comme ces messages ne sont pas toujours faciles à comprendre (nous nous efforçons d'améliorer ce point), nous avons compilé un tableau qui explique les plus courants :
| Erreur | Explication |
|---|---|
| duplicate key: ... | La table de définition de votre concept comporte une valeur d'ID répétée (c'est-à-dire une valeur dans la colonne portant le même nom que le concept). Ces valeurs permettent d'identifier de manière unique les instances individuelles du concept. Les doublons ne sont donc pas autorisés. |
| Exception in parsing data rows from source caused by The combination of properties, [...], appears in more than one distinct group of rows in the data. | Votre fichier CSV n'est pas trié correctement. Pour savoir comment procéder, consultez la discussion ci-dessus. |
| Exception lors de l'analyse des lignes de données de la source en raison d'un format non valide : "..." est incorrect au niveau de "..." | La mise en forme de cette valeur (généralement une date) dans votre fichier CSV n'est pas cohérente avec le format indiqué dans votre fichier XML. Modifiez le format ou la valeur pour qu'ils correspondent. |
| Exception lors de l'analyse des lignes de données de la source, causée par le nombre d'éléments de la ligne (...) qui ne correspond pas au nombre de propriétés spécifiées (...) pour la ligne : [...] | Une ligne de votre fichier CSV comporte un nombre de valeurs trop important ou trop faible. Corrigez la mise en forme de cette ligne. |
| Exception lors de l'analyse des lignes de données de la source causée par la chaîne d'entrée : "..." | Une valeur de votre fichier CSV (généralement un entier ou un nombre à virgule flottante) contient des caractères non numériques (par exemple, un symbole dollar, un signe de pourcentage, etc.) qui empêchent son analyse correcte. Supprimez ces caractères supplémentaires. |
| Exception lors de l'analyse des lignes de données de la source, causée par la valeur de données "..." pour la propriété "..." de la tranche "..." qui n'est pas une valeur de clé du concept référencé "...". | L'une de vos tranches contient une valeur de dimension non reconnue (par exemple, une valeur qui ne figure pas dans la liste de toutes les valeurs possibles pour le concept correspondant). Revenez au tableau de définition du concept de dimension et ajoutez la valeur, si nécessaire. |
| L'en-tête "..." des données est une propriété constante dans le tableau | L'en-tête de colonne du fichier CSV ne correspond pas à l'ID de colonne défini dans la définition de table XML. Modifiez l'une ou l'autre pour qu'elles correspondent. |
| Erreur d'analyse XML ... Un contenu non valide a été détecté à partir de l'élément "...". L'un des éléments "{...}", "{...}", ... est attendu. | L'élément XML référencé n'est pas au bon endroit. Vérifiez que l'ordre est correct et que l'élément possède le bon parent (par exemple, info pour name). |
| Erreur d'analyse XML ... L'attribut "..." n'est pas autorisé à apparaître dans l'élément "...". | L'orthographe, la casse ou l'emplacement de cet attribut de balise XML sont incorrects. Consultez la documentation pour connaître l'utilisation appropriée. |
| Erreur d'analyse XML. ... Element '...' cannot have character [children], because the type's content type is element-only. | Votre fichier XML contient du texte parasite (potentiellement causé par une balise à laquelle il manque un < ou un >). Corrigez le texte, puis réessayez. |
Si vous avez du mal à comprendre un message qui ne figure pas dans la liste ci-dessus, veuillez publier un message sur le forum DSPL. Nous essaierons de vous aider.
Mon ensemble de données est importé, mais je ne parviens pas à afficher de visualisations dans Public Data Explorer. Que se passe-t-il ?
Ce problème se produit lorsque votre ensemble de données est un ensemble DSPL valide, mais qu'il ne fait pas partie du sous-ensemble DSPL pouvant être visualisé dans Public Data Explorer. Plusieurs raisons peuvent expliquer ce problème. Voici les plus courantes :
- Définition d'un concept de dimension sans table : sans ces informations, Public Data Explorer ne sait pas quelles options afficher dans l'interface utilisateur.
- Création d'un ensemble de données ne contenant que des métriques : Public Data Explorer nécessite qu'au moins une dimension catégorielle (c'est-à-dire non temporelle) soit définie quelque part dans l'ensemble de données pour structurer correctement l'interface utilisateur de visualisation.
- Ne pas inclure de dimension temporelle dans vos tranches : l'Explorateur de données publiques ne peut visualiser que les séries temporelles. Les tranches non temporelles seront ignorées par le produit.
- Utilisation d'une dimension temporelle autre que les dimensions canoniques
time:...: Public Data Explorer utilise les concepts canoniquestimepour la mise en page et l'animation des différentes visualisations du produit. Il ne comprend pas les autres concepts temporels, par exemple ceux créés dans votre propre ensemble de données. - Utilisation de valeurs temporelles trop grandes ou trop petites : Public Data Explorer ne permet pas encore de visualiser des ensembles de données dont la précision temporelle est inférieure à un jour. À l'autre extrémité du spectre, l'outil rencontre des difficultés avec les valeurs d'année très élevées (par exemple, de l'ordre de dizaines de milliers). Nous espérons rendre ces niveaux de précision plus flexibles à l'avenir.
Comment intégrer mon ensemble de données visualisé à mon site Web ?
Consultez cet article du centre d'aide Public Data Explorer. Comme expliqué dans ce dernier, vous pouvez obtenir une "intégration complète" (c'est-à-dire une intégration incluant les commandes d'exploration) en ajustant manuellement l'URL d'intégration.