静态推理与动态推理 (Static vs. Dynamic Inference):检查您的理解情况

离线推理

查看以下选项。

在离线推理中,我们会一次性根据大批量数据做出预测。然后将这些预测纳入查询表中,以供以后使用。以下哪些关于离线推理的表述是正确的?
我们会对所有可能的输入提供预测。
错误,我们不会对所有可能的输入提供预测。这是离线推理的缺点之一。我们只能对已知晓的样本提供预测。如果我们要预测的事物集合是有限的,例如世界城市,则这种方法是可行的。但是对于用户查询等存在不寻常或罕见条目的长尾情况,我们可能无法通过离线推理系统实现全面覆盖。
生成预测之后,我们可以先对预测进行验证,然后再应用。
这的确是关于离线推理的一项实用功能。我们可以先对所有预测进行健全性检查并验证,然后再使用它们。
对于给定的输入,离线推理能够比在线推理更快地提供预测。
在离线推理的众多优势中,其中一项优势是,预测一旦写入到某个查询表中,我们便能够以最小的延迟提供预测。无需在收到请求时进行特征计算或模型推理。
我们将需要在长时间内小心监控输入信号。
这属于我们实际上不需要长时间监控输入信号的情况。原因是,将预测记录到某个查询表后,我们就不再依赖于输入特征了。需要注意的是,模型的所有后续更新都将需要进行新一轮的输入验证。
我们将能够快速对世界上的变化作出响应。
错误,这是离线推理的缺点之一。世界上如果有任何变化,我们都需要等到一组新的预测写入到查询表后,才能根据相应变化作出不同的响应。

在线推理

查看以下选项。

在线推理指的是根据需要作出预测。也就是说,进行在线推理时,我们将训练后的模型放到服务器上,并根据需要发出推理请求。以下哪些关于在线推理的表述是正确的?
您可以为所有可能的条目提供预测。
正确,这是在线推理的一项优势。收到的每个请求都会获得一个分数。在线推理能够处理长尾分布(包含许多罕见条目的分布),例如影评中可能包含的所有句子占用的空间。
您可以先对预测进行后期验证,然后再使用它们。
一般而言,不可能先对所有预测进行后期验证然后再使用它们,因为预测是根据需要进行的。不过,您可以监控总体预测特性,以提供一定程度的健全性检查,但在发现问题时可能已经为时已晚。
您必须小心监控输入信号。
是,信号可能会因上游问题而突然改变,从而损害我们的预测。
在进行在线推理时,您不需要像执行离线推理一样,过多地担心预测延迟问题(返回预测的延迟时间)。
预测延迟通常是在线推理中一个令人担忧的问题。遗憾的是,您不一定能够通过添加更多推理服务器解决预测延迟问题。