分類:驗收學習內容 (準確度、精確度、喚回度)

準確率

請查看下列選項。

在下列哪一種情況中,高精確度值表示機器學習模型表現良好?
致命卻可治癒疾病的疾病佔人口的 0.01%。機器學習模型使用症狀做為特徵,並預測此聲明的準確率為 99.99%。
準確率不高,畢竟,即使是「零時效性」模型,這個模型一律會預測「生病」的準確率,準確率高達 99.99%。確實為「生病」的使用者預測會很不適。
一隻昂貴的機器人雞每天穿越非常繁忙的道路,數千次。機器學習模型會評估流量模式,並預測這個雞肉何時可安全穿越街道上,準確率為 99.99%。
在非常繁忙的道路上,準確率高達 99.99% 的數值,表示機器學習模型更好。在某些設定中,即使只有少數錯誤,製作成本仍過高。99.99% 的準確率表示,每 10 天平均需要更換昂貴的雞肉。(雞肉也可能對遭命的車輛造成嚴重損害。)
在輪盤遊戲中,一顆球在旋轉的輪子上掉了,最終進入了 38 個插槽之一。使用視覺功能 (球形旋轉、球體滾輪的位置、球圈超出球輪的高度),機器學習模型則可準確預測 4% 的球所到達的運算單元。
這個機器學習模型讓預測查詢字串的性能遠勝以往;隨機猜測的準確率為 1/38,準確率為 2.6%。雖然模型的準確率「僅」為 4%,但成功的好處遠勝於失敗的缺點。

精確度

請查看下列選項。

考慮使用分類模型,將電子郵件分為兩種類別:「正常」和「非垃圾郵件」。如果提高分類門檻,精確度會受到什麼影響?
絕對增加。
提高分類門檻通常可提升精確度;不過,提高門檻時,並不保證會遞增。
有可能增加。
一般來說,提高分類門檻會減少偽陽性,導致精確度提高。
有可能減少。
一般來說,提高分類門檻會減少偽陽性,導致精確度提高。
絕對減少。
一般來說,提高分類門檻會減少偽陽性,導致精確度提高。

喚回度

請查看下列選項。

考慮使用分類模型,將電子郵件分為兩種類別:「正常」和「非垃圾郵件」。如果提高分類門檻,會發生什麼情況?
總是增加。
提高分類門檻會產生以下兩種原因:
  • 真陽性會減少或保持相同。
  • 偽陰性數量的增加或維持不變。
因此,喚回度絕對不會增加。
一律減少或保持相同。
提高分類門檻將導致偽陽性數量減少或保持相同,且偽陽性數量會增加或保持相同。因此,喚回度會保持不變或減少。
請始終保持不變。
提高分類門檻將導致偽陽性數量減少或保持相同,且偽陽性數量會增加或保持相同。因此,喚回度會保持不變或減少。

精確度和喚回度

請查看下列選項。

請考慮使用 A 和 B 這兩個模型,每個模型都用於評估同一個資料集。以下敘述何者正確?
如果模型 A 的精確度高於模型 B,則模型 A 更好。
雖然準確度越高,但總持有成本卻可能會大幅下降。一般而言,我們必須同時評估精確度和喚回度,或是後續介紹的 AUC 等摘要指標。
如果模型 A 的喚回度比模型 B 更好,則模型 A 會更好。
雖然良好的喚回度良好,但還是有可能大幅降低精確度。一般而言,我們必須同時評估精確度和喚回度,或是 AUC 等摘要指標;我們將在後續說明。
如果模型 A 的精確度高於模型 B,則模型 A 可能更好。
一般來說,模型在精確度和喚回度方面的表現都超過其他模型,或許是更好的模型。很明顯地,我們必須確保這些資料的精確度 / 喚回度在執行上相當實用,這對於實作意義來說很有用。舉例來說,假設我們的垃圾內容偵測模型必須具備至少 90% 的精確度,才能避免發生不必要的警報。在這種情況下,相較於 {10% 精確度、99% 回呼} 的其中一個模型與 {15% 的精確度、98% 喚回度} 的比較模型,並沒有特別的指示,因為這兩種模型都不符合 90% 的精確度要求。但請注意,使用精確度和喚回度時,這是比較模型的好方法。