Sehen Sie sich die folgenden Optionen an.

Dynamische (Online-)Inferenz bedeutet, dass Vorhersagen nach Bedarf getroffen werden. Das heißt, bei Online-Inferenzen legen wir das trainierte Modell auf einem Server ab und stellen bei Bedarf Inferenzanfragen aus. Welche der folgenden Aussagen zu dynamischen Inferenzen trifft zu?

Sie können Vorhersagen für alle möglichen Elemente machen.

Ja, eine Stärke der Online-Inferenz. Alle eingehenden Anfragen erhalten eine Punktzahl. Bei Online-Inferenzen werden Longtail-Verteilungen verarbeitet (die mit vielen seltenen Elementen vorkommen), z. B. der Bereich aller möglichen Sätze, die in Filmrezensionen geschrieben wurden.

Sie können Vorhersagen nach der Überprüfung vor der Verwendung durchführen.

Im Allgemeinen ist es nicht möglich, eine Nachprüfung aller Vorhersagen durchzuführen, bevor sie verwendet werden, da Vorhersagen bei Bedarf getroffen werden. Sie können jedoch potenziell zusammengefasste Vorhersagequalitäten überwachen, um ein gewisses Maß an Plausibilitätsprüfung zu ermöglichen. Diese signalisieren jedoch Feueralarme erst, wenn sich der Brand bereits ausgebreitet hat.

Eingabesignale müssen sorgfältig überwacht werden.

Ja. Aufgrund von Upstream-Problemen können sich die Signale plötzlich ändern und unsere Vorhersagen beeinträchtigen.

Wenn Sie Online-Inferenz durchführen, müssen Sie sich nicht so sehr um die Vorhersagelatenz (die Verzögerungszeit für die Rückgabe von Vorhersagen) kümmern wie bei der Ausführung einer Inferenz.

Die Vorhersagelatenz ist bei der Online-Inferenz oft ein großes Problem. Leider können Sie Probleme bei der Vorhersagelatenz nicht unbedingt beheben, indem Sie weitere Inferenzserver hinzufügen.