Inferenza statica (offline)
Esplora le opzioni riportate di seguito.
Nell'inferenza offline, eseguiamo previsioni su un grande batch di dati contemporaneamente.
Successivamente, inseriamo queste previsioni in una tabella di ricerca per utilizzarle in un secondo momento.
Quali delle seguenti affermazioni sono vere per l'inferenza offline?
Dobbiamo creare previsioni per tutti i possibili input.
Sì, dovremo fare previsioni per tutti i possibili input e archiviarli in una cache o in una tabella di ricerca per utilizzare l'inferenza offline.
Questo è uno degli svantaggi dell'inferenza offline. Saremo in grado di fornire una previsione solo per gli esempi di cui siamo già a conoscenza. Questo va bene se l'insieme di elementi da noi previsti è limitato, ad esempio tutte le città del mondo o tutti gli elementi di una tabella di database.
Tuttavia, per gli input in formato libero come le query degli utenti che hanno una lunga coda di elementi insoliti o rari, non saremo in grado di fornire una copertura completa con un sistema di inferenza offline.
Dopo aver generato le previsioni, possiamo verificarle prima di applicarle.
Questo è davvero un aspetto utile dell'inferenza offline. Possiamo eseguire un controllo di integrità e verificare tutte le nostre previsioni prima che vengano utilizzate.
Per un determinato input, possiamo fornire una previsione più rapidamente rispetto all'inferenza online.
Uno dei grandi vantaggi dell'inferenza offline è che, dopo aver scritto le previsioni in una tabella di ricerca, possono essere pubblicate con una latenza minima. Non è necessario eseguire calcoli sulle caratteristiche né eseguire l'inferenza del modello al momento della richiesta.
Dovremo monitorare attentamente i nostri segnali di input per un lungo periodo di tempo.
In questo caso, non dobbiamo effettivamente monitorare i segnali di input per un lungo periodo di tempo. Questo perché, una volta che le previsioni sono state scritte in una tabella di ricerca, non siamo più dipendenti dalle funzionalità di input. Tieni presente che qualsiasi aggiornamento successivo del modello richiederà una nuova verifica dell'input.
Saremo in grado di reagire rapidamente ai cambiamenti che avvengono nel mondo.
No, questo è uno svantaggio dell'inferenza offline. Dovremo attendere fino a quando non verrà scritto un nuovo insieme di previsioni nella tabella di ricerca prima di poter rispondere in modo diverso in base ai cambiamenti del mondo.
Inferenza dinamica (online)
Esplora le opzioni riportate di seguito.
Inferenza dinamica (online) significa fare previsioni on demand. Cioè,
nell'inferenza online, posizioniamo il modello addestrato su un server ed emettiamo richieste
di inferenza a seconda delle esigenze. Quale delle seguenti affermazioni è vera per l'inferenza dinamica?
Puoi fornire previsioni per tutti i possibili elementi.
Sì, si tratta di un punto di forza dell'inferenza online. A tutte le richieste
pervengono viene assegnato un punteggio. L'inferenza online gestisce le distribuzioni long-tail (quelle con molti elementi rari), come lo spazio di tutte le possibili frasi scritte nelle recensioni dei film.
Puoi eseguire la verifica successiva delle previsioni prima che vengano utilizzate.
In generale, non è possibile eseguire una verifica successiva di tutte le previsioni prima che vengano utilizzate, perché le previsioni vengono effettuate on demand. Tuttavia, puoi potenzialmente monitorare le qualità di previsione aggregate per fornire un certo livello di controllo dell'integrità, ma questi indicheranno gli allarmi antincendio solo dopo che l'incendio si è già diffuso.
Devi monitorare attentamente i segnali di input.
Sì. Gli indicatori potrebbero cambiare improvvisamente a causa di problemi a monte,
danneggiando le nostre previsioni.
Quando esegui l'inferenza online, non devi preoccuparti della latenza di previsione (il tempo di attesa per la restituzione delle previsioni) quanto quando si esegue l'inferenza offline.
La latenza della previsione è spesso un problema reale nell'inferenza online.
Sfortunatamente, non puoi necessariamente risolvere i problemi di latenza della previsione aggiungendo più server di inferenza.