本文档介绍了数据所有者在创建 DSPL 数据集并将其上传到公开数据浏览器时遇到的最常见问题。
目录
常规问题
什么是 DSPL?
DSPL 是 Dataset Publishing Language(数据集发布语言)的缩写。它是数据集的元数据(有关数据集的信息,例如其名称和提供方,以及它包含和显示的概念)和实际数据的表示格式。元数据以 XML 格式指定,而数据则以 CSV 格式提供。
使用 DSPL 的主要优势是什么?
DSPL 专为公开数据浏览器中的多媒体数据可视化而设计。创建这些内容需要有关切片、维度和指标的详细元数据,而其他数据集格式对这些实体的支持不尽如人意。
DSPL 还支持数据集导入、概念层次结构(例如,“国家/地区”是“洲”的子级)、地理编码数据以及许多其他可增强数据探索体验的独特功能。
DSPL 是否可以替代用于数据交换和/或分析的其他格式?
通常不会。如上一个回答中所述,DSPL 专为交互式可视化和探索而设计。它并非旨在用作通用的、全能的数据交换或分析格式。
最后,我们认为 DSPL 是对其他格式的补充。用户应该能够从其他来源创建 DSPL 数据集,以便创建丰富的交互式数据可视化。
我可以使用 DSPL 数据集做什么?
您可以将其导入公开数据浏览器,然后发布,让其他人通过丰富的交互式可视化图表探索这些数据。 已发布的数据集也可以包含在公共数据目录中,以便感兴趣的用户可以找到它们。
目前,这是唯一使用 DSPL 的应用。不过,我们鼓励大家将其用于其他应用,并预计其采用率会随着时间的推移而不断提高。
哪些类型的数据集最适合 DSPL?
DSPL 格式支持任意表格集合,因此适用于各种数据集类型。不过,只有一部分 DSPL 数据集会在公开数据浏览器中生成有趣的可视化图表。尤其是后一种产品,最适合以下数据:
- 定量:每个数据点都有一个或多个关联的数值指标(例如“人口”“流感病例数”“收入”)。
- 分类:数据可以整理成有限数量的可用文本描述的类别(例如,“国家/地区”“性别”“年龄段”)。
- 时序:对于每个类别,数据指标会随时间而变化,并且相邻点之间至少相隔一天(公开数据浏览器无法直观呈现小于一天的时间增量)。
- 汇总:对于每个时间/类别/指标组合,都有一个单一数据点,而不是事件或事实列表。
我创建了一个 DSPL 数据集,并希望它显示在 Google 公共数据目录中,以便其他人可以找到它。应该联系谁?
请填写此表单,并提供指向您数据集的链接。
我在使用 DSPL 时遇到了问题。从哪里获取帮助?
请在 DSPL 讨论论坛上发布您的问题。
DSPL 数据集文件
我应该如何对 XML 和 CSV 文件进行编码?
所有 XML 和 CSV 文件都需要采用 UTF-8 编码。请注意,ASCII(有时称为“纯文本”)是 UTF-8 的子集,因此该格式的数据集也应该可以正常工作。
我应该使用什么软件来创建和修改数据集文件?
建议使用纯文本编辑器来编辑 XML 文件,并使用语法突出显示功能来提高可读性;如需了解一些针对特定平台的建议,请参阅这篇文章。我们不建议使用功能齐全的通用文字处理器,因为这些处理器往往会在 XML 中插入额外的格式标记,从而导致导入错误。
电子表格通常是创建和修改数据文件的最简单方法。只需确保以正确的格式(CSV/逗号分隔值)保存即可。
我的数据在 Excel、SPSS、SAS 或其他系统中。我可以将这些数据直接导入到公开数据浏览器中吗?
不,目前还不行。您需要先将数据导出为 CSV 格式,添加适当的 XML 元数据,然后将符合 DSPL 的数据集上传到公开数据浏览器中。
文件命名方式重要吗?
数据集 XML 文件的名称应以 .xml 结尾。
关联的 CSV 数据文件可以采用任何名称,只要它们与 XML 元数据中的 <file> 标记中给出的名称一致即可。
用于打包数据集并将其导入到公开数据浏览器的 ZIP 文件也可以使用任何名称。
我的 CSV 文件是否需要排序?
可以。您应按非时间维度(按任意顺序或方向)对 CSV 文件的内容进行排序,然后视需要按任何其他列(例如时间)进行排序。
例如,如果您的 CSV 包含 date、dimension1、dimension2、metric1 和 metric2 列,则应按 dimension1 和 dimension2(按任意顺序)排序。如果您还想按日期/时间列排序,则应最后按此列排序。
以这种方式排序可将每个时序的观测值分组在一起,从而大大提高 DSPL 导入过程的效率。
XML 模型和语法
如何确定哪些应作为指标,哪些应作为维度?
维度是用于对数据进行细分或过滤的实体。另一方面,指标描述与每个数据点关联的一个或多个观测值。
通常,维度是分类的,而指标是非分类的、随时间变化的数值。以下是每种类型的典型示例:
- 维度:国家/地区、州、县、区域、年份、月份、性别、年龄类别、行业细分
- 指标:人口、GDP、失业率、识字率、收入、费用、价格
属性和特性有什么区别?
属性会附加到概念的每个实例。例如,对于不同的国家/地区,continent 属性将具有不同的值。
另一方面,属性与整个概念相关联。
例如:isParent 属性对于所有大洲都为 true。
代码的顺序重要吗?
可以。按照开发者指南中显示的顺序添加代码。例如,在概念的定义中,<topic> 应出现在 <type> 之前。
大小写是否重要?
是的,您的 XML 标记和属性名称需要采用与开发者指南中相同的大小写形式。例如,在 property 标记中使用 isparent 而不是 isParent 会导致导入错误。
一个概念可以有两个父级吗?
不能。每个概念只能有一个 isParent 引用。
一个概念可以指代自身吗?
可以。如需查看自引用概念层次结构的示例,请参阅美国零售销售数据集。
数据格式设置
如何设置日期格式?
日期可以采用 Joda DateTime 标准可描述的任何格式。Joda 格式设置代码应存储在相应表列元素内的 format 属性中。
下面列出了一些常用日期格式的 Joda 格式代码:
| 日期示例 | Joda 格式 |
|---|---|
| 2010 | yyyy |
| 2010 年 5 月 | MMM yyyy |
| 2010 年 5 月 21 日 | MM/dd/yyyy |
| 2010 年 5 月 21 日 | dd/MM/yyyy |
| 2010-05-21 | yyyy-MM-dd |
特别要注意的是,月份字符的 Joda 代码是 M,而不是 m(表示分钟)。
我可以使用小于一天的时间单位吗?
Joda DateTime 格式(以及 DSPL)支持的时间值可精确到毫秒。不过,公开数据浏览器(尚)无法直观呈现小于一天的时间粒度。
使用规范概念
什么是“规范概念”?它们有何用处?
“规范概念”一词是指一组由 Google 创建的概念,旨在作为其他数据集中的基本“构建块”。这些概念本身是在六个 DSPL 数据集中定义的,这些数据集将前者分为“时间”“地理位置”等类别。如需访问这些概念,只需在 DSPL XML 文件的开头导入相应的父数据集即可。
规范概念非常有用,因为它们有助于节省时间(例如,无需手动输入世界上每个国家/地区的纬度和经度值),还可以指示数据的可视化方式。例如,公开数据浏览器使用 time:... 概念来设置折线图 x 轴的格式,使用 entity:entity 概念的 name 属性为维度选择器界面生成字符串,使用 geo:location 的 latitude 和 longitude 属性在地图可视化中显示数据,等等。
公开数据浏览器是否能理解所有规范概念?
虽然公开数据浏览器可以理解大多数提供的规范概念,但仍有一些概念(尚)无法直观呈现。 下面列出了这些问题,并提供了一些建议的解决方法:
| 概念 | 临时解决方法 |
|---|---|
quantity:index |
请改为使用 quantity:ratio 或 quantity:magnitude。 |
time:quarter |
按照 DSPL 说明书中的说明使用 time:month。 |
time:week |
按照 DSPL 说明书中的说明使用 time:day。 |
敬请期待未来对这些概念的更好支持。
如何在我的数据集内使用规范概念?
请参阅您要使用的特定概念的文档,并查看 DSPL Cookbook,其中包含最常见概念的详细分步说明。
导入和直观呈现数据集
为什么我无法成功导入数据集?
公开数据浏览器的上传界面会扫描您的 DSPL 数据集,如果检测到任何错误,则会阻止其导入。导入工具对 XML 文件中的拼写、大小写和标记顺序/位置以及 CSV 文件中的数据布局和排序非常敏感,因此可能需要多次尝试才能正确设置这些内容并成功导入数据集。
解决这些问题的第一步是查看界面中显示的错误消息,并采取适当的纠正措施。由于这些消息并不总是最容易理解(我们正在积极改进),因此我们编制了一个表格来解释最常见的消息:
| 错误 | 说明 |
|---|---|
| duplicate key: … | 概念的定义表具有重复的 ID 值(即与概念同名的列中的值)。这些值用于唯一标识概念的各个实例,因此不允许重复。 |
| 由于属性组合 […] 出现在数据中多个不同的行组中,因此在解析来自来源的数据行时出现异常。 | 您的 CSV 文件未正确排序。如需了解如何执行此操作,请参阅上文中的讨论。 |
| 从来源解析数据行时发生异常,原因是格式无效:“…”在“…”处格式不正确 | CSV 文件中此值(通常为日期)的格式与 XML 文件中提供的格式不一致。请更改格式或值,使其保持一致。 |
| 解析来自源的数据行时发生异常,原因是行中的元素数量 (…) 与行 […] 的指定属性数量 (…) 不匹配 | CSV 文件中有一行的值过多或过少。请修正此行的格式。 |
| 由于输入字符串“…”而导致从来源解析数据行时出现异常 | CSV 中的某个值(通常为整数或浮点数)包含非数字字符(例如美元符号、百分号等),导致无法正确解析。请移除这些多余的字符。 |
| 由于切片“…”的属性“…”的数据值“…”不是所引用概念“…”的键值,因此在解析来自源的数据行时出现异常。 | 您的某个切片包含无法识别的维度值(即即不在相应概念的所有可能值列表中)。如有必要,请返回到维度概念定义表并添加该值。 |
| 数据中的标题“…”是表中的常量属性 | CSV 中的列标题与 XML 表定义中定义的列 ID 不匹配。请更改其中一个,使它们保持一致。 |
| XML 解析错误…发现从元素“…”开始的内容无效。应为“{…}”“{…}”…中的一个。 | 引用的 XML 元素不在正确的位置。请检查以确保顺序正确,并且该元素具有正确的父级(例如,name 的父级为 info)。 |
| XML 解析错误…属性“…”不允许出现在元素“…”中。 | 此 XML 标记属性的拼写、大小写或位置不正确。请查看相关文档,了解正确用法。 |
| XML 解析错误。…元素“…”不能有字符 [子级],因为该类型的内容类型仅为元素。 | 您的 XML 文件中存在一些杂散文本(可能是由于某个标记缺少 < 或 > 导致的)。请修正这些文本,然后重试。 |
如果您无法理解上述列表中未列出的消息,请在 DSPL 论坛中发帖,我们会尽力提供帮助。
我的数据集已成功导入,但无法在公开数据浏览器中显示任何可视化图表。 这是怎么回事?
如果您的数据集是有效的 DSPL,但不在可在公开数据浏览器中直观呈现的 DSPL 子集中,就会出现此问题。造成这种情况的原因有很多,最常见的原因如下:
- 定义不含表的维度概念:如果没有这些信息,公开数据浏览器就不知道要在界面中显示哪些选项。
- 创建仅包含指标的数据集:公开数据浏览器要求在数据集中的某个位置至少定义一个分类(即非时间)维度,以便正确构建可视化界面。
- 切片中未包含时间维度:公开数据浏览器只能直观呈现时序。产品会忽略非时间片。
- 使用规范
time:...以外的时间维度:公开数据浏览器使用规范time概念来布局和动画化产品中的各种可视化图表;它无法理解其他时间概念,例如在您自己的数据集内创建的概念。 - 使用过大或过小的时间值:公开数据浏览器尚无法直观呈现时间粒度小于一天的数据集。另一方面,该工具无法处理非常大的年份值(例如,数万年)。我们希望将来能让这些粒度更加灵活。
如何将可视化数据集集成到我的网站中?
请参阅公开数据浏览器帮助中心内的这篇文章。如后文所述,您可以通过手动调整嵌入网址来获取“完整嵌入”(即包含探索控件的嵌入)。