静态（离线）推断
了解以下选项。
在离线推断中，我们会一次性根据大批量数据进行预测。
然后将这些预测放入查询表中，以备日后使用。以下关于离线推理的表述中，哪些是正确的？
我们必须针对所有可能的输入创建预测。
是的，我们必须对所有可能的输入进行预测，并将其存储到缓存或对照表中，以便使用离线推断。
这是离线推理的缺点之一。我们只能对已知晓的样本提供预测。如果我们预测的内容集合是有限的，例如全球的所有城市或数据库表中的所有内容，则没有问题。
但是，对于自由格式的输入（例如用户查询），其中包含不寻常或罕见条目的长尾，我们无法通过离线推断系统实现全面的覆盖。
生成预测后，我们可以在应用预测之前对其进行验证。
这的确是关于离线推理的一项实用功能。我们可以先对所有预测进行健全性检查并验证，然后再使用它们。
对于给定的输入，我们能够比在线推断更快地提供预测。
离线推理的一大优点是，将预测写入某个查询表后，能够以极低的延迟时间处理预测。无需在请求时进行特征计算或模型推断。
我们需要长时间仔细监控输入信号。
在这些情况下，我们实际上不需要长时间监控输入信号。这是因为一旦将预测写入查询表，我们将不再依赖于输入特征。请注意，模型的任何后续更新都将需要进行新一轮输入验证。
我们能够快速应对世界上的变化。
不能，这是离线推理的缺点。我们必须等到一组新的预测结果写入查询表后，才能根据世界上的任何变化做出不同的响应。
动态（在线）推断
了解以下选项。
动态（在线）推断指的是根据需要进行预测。也就是说，在线推断中，我们将经过训练的模型放到服务器上，并根据需要发出推断请求。以下关于动态推断的表述中，哪些是正确的？
您可以为所有可能的项提供预测结果。
是的，这是在线推理的一项优势。收到的任何请求都会获得一个分数。在线推理可处理长尾分布（包含许多罕见条目的分布），例如影评中可能写的所有句子的空间。
您可以在使用预测之前对预测进行后期验证。
一般来说，不可能在所有预测使用之前对其进行后期验证，因为预测是按需执行的。不过，您可以监控总体预测质量以提供一定程度的健全性检查，但这只会在火灾已经蔓延后触发警报。
您必须仔细监控输入信号。
可以。信号可能会因上游问题而突然发生变化，从而损害我们的预测。
执行在线推断时，您不需要像执行离线推断那样担心预测延迟（返回预测结果的延迟时间）。
预测延迟通常是在线推理中一个真正的问题。
遗憾的是，您不一定能够通过添加更多推断服务器来解决预测延迟问题。