公平性:驗收學習成果

偏誤類型

請查看下列選項。

下列哪個模型的預測結果受到選取偏誤的影響?
德語手寫辨識智慧型手機應用程式使用的模型經常將 ƒ (Eszett) 字元分類為 B 字元,因為模型是在美國手寫手寫樣本中受過訓練,且大部分語言為英文。
這個模型受到稱為涵蓋率偏誤的選取偏誤:訓練資料 (美國英文手寫) 不代表模型的目標對象 (德文手寫) 所提供的資料類型。
工程師建立了模型,依據每天的攝取食物預測糖尿病的機率。模型是依據 10,000 個「食物日誌」相關訓練而得。這些隨機樣本集是由全球隨機選出的使用者組成,代表了不同的年齡層、族裔背景和性別。然而,部署模型時模型的準確率非常低。工程師隨後發現,日記美食愛好者不願承認自己真正吃的不健康食物,並且更有可能記錄營養攝取的食物,而不是健康的點心。
這個模式沒有選擇偏誤;提供訓練資料的參與者僅為代表性使用者樣本,且隨機選取其來源。 但這個模式會受到報表偏誤的影響。我們發現,不健康食物的攝取量遠比現實世界中許多。
某公司的工程師根據向所有員工發送的問卷調查中收集到的資料,預測有員工離職率 (每年每年離職員工的百分比)。經過使用多年之後,工程師判定模型的成交率低於 20%,在與公司離職時進行員工訪談時,他們發現超過 80% 的人對工作不滿意,選擇未完成問卷調查;相較之下,全公司選擇退出率是 15%。
這個模型受到稱為「非回應偏誤」的選取偏誤。由於他們選擇退出全公司的問卷調查,且此比例大幅高於整個員工人口,導致對工作感到不滿意的人較少。
從事電影推薦系統的工程師假設,喜歡恐怖電影的人也喜歡科學小說。當使用者在 50,000 名使用者訓練模型時,觀察清單顯示出表現優劣與科幻性的偏好之間具有關聯性,而顯示這些結果之間有強烈的關聯性與紀錄片理論。這聽起來有點奇怪,因此他們使用不同的參數重新訓練了模型五次。最後的訓練模型,在恐怖程度和科幻方面的偏好之間有 70% 的關聯性,因此讓他們放心地發布至實際工作環境中。
沒有選擇偏誤的跡象,但這個模型可能受到實驗偏誤的影響,這是因為工程師會持續疊代模型,直到確認現有的假設為止。

評估偏見

「sarcasm」偵測模型已訓練了 80,000 則簡訊:40,000 則成人 (18 歲以上) 以及 40,000 則未送出 (未滿 18 歲) 的訊息。然後在 20,000 封郵件的測試集中評估該模型,其中 10,000 則來自成人,10,000 則來自未成年人。下列混淆矩陣會顯示每個群組的結果 (正值預測代表「反對」分類;負預測則代表「非反對派」的分類):

成人

真陽性 (TP):512 偽陽性 (FP):51
偽陰性 (FN):36 真陰性 (TN):9401
$$\text{Precision} = \frac{TP}{TP+FP} = 0.909$$
$$\text{Recall} = \frac{TP}{TP+FN} = 0.934$$

次要

真陽性 (TP):2147 偽陽性 (FP):96
偽陰性 (FN):2177 真陰性 (TN):5580
$$\text{Precision} = \frac{TP}{TP+FP} = 0.957$$
$$\text{Recall} = \frac{TP}{TP+FN} = 0.497$$

請查看下列選項。

以下有關模型測試集效能的敘述何者正確?
整體而言,這個模型在成人的範例上的成效優於未成年人的範例。

這個模型在偵測到來自成人的簡訊時提高了 90% 的精確度和喚回度。

儘管模型的未成年人準確率略高於成人,但未成年人的召回率明顯降低,導致群體的預測結果較少。

這個模型無法分類約 50% 的未成年人'aarcastic 訊息為「sarcastic」。
未成年人的召回率為 0.497,代表該模型預測了「非諷刺」的問題,約為 50% 的未成年人' 諷刺文字。
大約 50% 的未成年人所傳送的郵件會歸類為「諷刺」。
精確度 0.957 表示超過 95% 的未成年人'分類為「諷刺」的訊息實際上都很靈活。
成人傳送的 10,000 封郵件是類別不平衡的資料集。
如果我們比對了偶爾傳送給惡意郵件的郵件數量 (TP+FN = 548) 和實際提供的惡意郵件數量 (TN + FP = 9452),就會發現「非諷刺」標籤按照「aptas1」標示。
未成年人傳送的 10,000 封郵件是類別不平衡資料集。
如果我們比對了不肖人士的郵件數量 (TP+FN = 4324) 與實際非惡意郵件數 (TN + FP = 5676) 進行比較,就會發現「tarcastics」(非諷刺) 標籤與比率的比率是 1.3:1。因為兩個類別之間的標籤分佈非常接近 50/50,所以這並不是類別分類的資料集。

請查看下列選項。

工程師正在重新訓練這個模型,以便解決各年齡層客層的引數偵測準確率不一致,但這個模型已發布正式版。以下哪一項停靠策略策略有助於減少模型預測中的錯誤?
限制模型只能用於成人傳送的簡訊。

這個模型在成人訊息的簡訊上成效良好 (精確度和喚回率均超過 90%),因此限制在這個群組中使用的行為,會破壞系統分類未成年人的系統錯誤。

如果模型對未成年人傳送的簡訊進行預測,而不是「諷刺」,請調整輸出內容,讓模型傳回「不確定」的值。

未成年人傳送的簡訊的精確度率偏高,這表示當模型預測了「靈活」時,其數量幾乎正確。

問題是,未成年人的喚回度非常低;但大約 50% 的例子中無法辨識模型。如果模型對未成年人的負面預測結果不如隨機猜測,我們就不會在這些情況下提供預測。

限制模型只能用於未成年人傳送的簡訊。

這個模型中的系統錯誤僅適用於未成年人傳送的簡訊。將模型限制為容易遭受錯誤影響的群組,將沒有幫助。

調整模型輸出結果,讓所有未成年人傳送的簡訊都傳回「靈活」(sarcastics),否則無論模型的預測狀態為何。

一律為預測「未成年人」所需的「惡魔」;文字訊息會將喚回率從 0.497 提高到 1.0,因為模型不會再將任何訊息視為惡魔。然而,喚回度增加的成本會犧牲精確度。所有真正的負值都會變更為偽陽性:

真陽性 (TP):4324 偽陽性 (FP):5676
偽陰性 (FN):0 真陰性 (TN):0

這會將精確度從 0.957 降至 0.432。因此,新增這項校正結果會改變錯誤類型,但不會降低錯誤的程度。