静的推論と動的推論の比較: 理解度を確認する

静的(オフライン)推論

以下の選択肢をご覧ください。

オフライン推論では、おそらく MapReduce や同様の方法を使用して、。 この予測を後で使用できるようにルックアップ テーブルに格納します。オフライン推論について正しいものは次のうちどれですか。
可能性のあるすべての入力について予測を作成する必要があります。
はい。オフラインでの推論を使用するには、考えられるすべての入力について予測を行い、それらをキャッシュまたはルックアップ テーブルに保存する必要があります。これはオフライン推論の欠点の一つです。予測は、すでに知っている例に対してのみ行うことができます。世界のすべての都市やデータベース テーブル内のすべての項目など、予測する対象セットが限定されている場合は問題ありません。しかし、ユーザークエリなど、珍しいアイテムやレアアイテムが長続きする自由形式の入力の場合は、オフライン推論システムで完全に網羅することはできません。
予測を生成した後、適用前に検証できます。
これは実際に、オフライン推論において有用なことの一つです。すべての予測を使用する前に、サニティ チェックと検証を行うことができます。
特定の入力に対して、オンライン推論よりも迅速に予測を提供できます。
オフライン推論の優れた点の一つは、ルックアップ テーブルに予測が書き込まれた後、最小限のレイテンシで処理できることです。リクエスト時に特徴計算やモデルの推論を行う必要はありません。
長期間にわたって入力シグナルを注意深くモニタリングする必要があります。
その 1 つのケースでは、入力信号を長期間モニタリングする必要がない場合もあります。これは、予測がルックアップ テーブルに書き込まれると、入力特徴に依存しなくなるためです。その後にモデルを更新する場合は、もう一度入力検証を行う必要があります。
世界の変化に迅速に対応できるようになるでしょう。
いいえ。これはオフライン推論の欠点です。世界の変化に応じて異なる対応をするには、新しい予測セットがルックアップ テーブルに書き込まれるまで待つ必要があります。

動的(オンライン)推論

以下の選択肢をご覧ください。

動的(オンライン)推論とは、オンデマンドで予測を行うことを意味します。つまり、オンライン推論では、トレーニング済みモデルをサーバーに配置し、必要に応じて推論リクエストを発行します。動的推論について正しいものは次のうちどれですか。
候補となるすべてのアイテムに対する予測を提供できます。
はい、これがオンライン推論の強みです。リクエストが来たら、スコアが付与されます。オンライン推論は、映画レビューで書かれた可能性のあるすべての文のスペースなど、ロングテール分布(レアアイテムが多いもの)を処理します。
予測を使用する前に、予測の検証を行うことができます。
一般に、予測はオンデマンドで行われるため、すべての予測を使用する前に確認することはできません。ただし、集計予測品質をモニタリングしてある程度のサニティ チェックを実施することは可能ですが、火災警報がすでに拡大した後に初めて火災警報が発せられます。
入力シグナルを慎重にモニタリングする必要があります。
はい。アップストリームの問題によってシグナルが突然変化し、予測に悪影響が及ぶことがあります。
オンライン推論を実行するとき、オフライン推論を実行するときほど予測レイテンシ(予測を返すまでのタイムラグ)を気にする必要はありません。
オンライン推論では、予測レイテンシが大きな問題となることがよくあります。残念ながら、推論サーバーを追加しても予測レイテンシの問題を修正できるとは限りません。