本頁面由 Cloud Translation API 翻譯而成。

單元 4：稽核

1. 評估

資料資訊卡已準備好發布，現在您需要完成下列後續動作，以實現透明度目標：

使用評估方法，深入瞭解讀者與資料資訊卡的互動情形。
有系統地追蹤資料資訊卡的使用情況和採用率，確保內容符合讀者的興趣。

本單元提供一些方法，協助您稽核已完成的資料卡，確保發布後仍能持續獲得成功。

如先前單元所述，資料卡讀取器的主要目標是評估資料集。因此，評估資料集的資料卡時，應著重於讀者是否能成功對資料集得出可接受的結論。

資料資訊卡中的資訊必須與讀者使用資料集的體驗一致。這會直接影響讀者對資料集可靠性和可信度的看法，進而影響資料集作者或發布者的聲譽和信任度。

反之，讀者對資料集、機構，以及機構發布的其他資料集的既有信念，也可能影響他們與資料集的互動方式，無論資料集是否容易搜尋、實用或結構良好。

舉例來說，如果讀者對機構先前發布的資料集有正面體驗，可能會對同一作者發布的新資料集產生更多信任感。在這種情況下，讀者可能會直覺地做出推論，而不會仔細閱讀新的資料資訊卡，因此無法充分瞭解資料集，特別是與舊版類似資料集的差異。

因此，評估資料卡時，需要採用適當方法，判斷讀者是否能根據自身情境，對資料集得出可接受的結論。這與資料集本身的評估不同，後者可能無法充分揭露隨附資料資訊卡的效用。您必須透過使用者研究等方式評估資料資訊卡，瞭解不同讀者是否能理解內容，或在您疊代資料資訊卡時，讀者是否仍能獲得實用洞察。另一種做法是透過使用者滿意度、問卷調查和資料卡實作中的分析資料，評估資料卡的採用率和成效。從這個角度來看，資料卡片可做為實用的探測器，用來推動及評估資料集的成效，並清楚瞭解下游利害關係人的需求。

2. 確認需求

如要判斷需求，請參閱下表。表中列出需求、可能的評估標準，以及判斷資料卡是否符合標準的範例做法，並考量讀者和角色：

規定	評估標準	範例
功能性	讀者是否能根據各自的角色，透過資料卡完成工作？	假設資料工程師有興趣將您的資料集整合到管道中，您的資料卡是否包含成功導入基礎架構所需的資訊，以便使用資料集？
可使用	資料卡是否能協助讀者瞭解有效使用資料集所需的基本功能、成效指標，以及其他相關規定和程序？	假設機器學習 (ML) 模型建構者想使用您的資料集微調推薦系統。資料卡是否提供足夠資訊，可判斷必須滿足的限制和效能需求？
可用性	讀者是否能輕鬆瀏覽及與資料資訊卡互動？您的資料卡導入作業是否符合基本可用性啟發式方法和無障礙標準？	假設有位學生研究人員想使用您的資料集，但網路存取權有限。在資料資訊卡中嵌入資料集的互動式探索視覺化內容，可能會造成哪些挑戰？哪些 UI 疏漏可能會導致螢幕閱讀器無法為低視力使用者翻譯資料卡？
安全性	資料資訊卡提供的資訊，是否能協助實務工作者評估網域中資料集可能造成的負面結果？	以醫療保健等高風險領域的機器學習從業人員為例，您的資料卡是否說明適當的安全性、隱私權、穩健性和法規遵循規定，且必須揭露這些規定，以免病患結果不佳？

詳情請參閱「使用讀者評估」。

3. 決定尺寸

如要判斷維度，請邀請潛在讀者從五個維度評估資料資訊卡，並使用下列表單評估資料資訊卡在各維度的表現：

4. 大規模遙測

如要成功建立任何形式的透明度導向說明文件，您必須將說明文件視為以使用者為中心的產品。有系統地追蹤資料卡的使用情況，有助於制定長期透明度策略，以及涵蓋跨職能界線的廣泛措施。評估透明度措施成效沒有一體適用的做法，但設定影響追蹤計畫時，可以考慮多種因素，例如透明度措施的成熟度和目標、機構規模或記錄的資料集。

舉例來說，您發現某些遙測形式更容易納入互動式資料資訊卡的實作項目，而非 PDF，另一方面，如要評估資料資訊卡的成效，您可能需要設定自訂機制，評估貴機構中不完整或遭捨棄的資料資訊卡。

評估影響

一般來說，資料資訊卡範本的指標及其採用情況可大致分為七類：文件品質、穩定性和穩定性、可理解性、支援性、轉換、參與度和觸及。不過，這兩項指標並不相等，而是需要根據您的情況進行評估。下表列出、定義並說明何時及如何評估資料卡和資料卡範本的這七個類別：

類別	定義	評估時機	如何測量
說明文件衛生	讀者使用資料集時的體驗，是否符合資料集資訊卡所建立的期望。生產者描述資料集時的體驗，是否符合資料集資訊卡範本所設定的期望。	範本：在資料集製作人完成資料卡時或完成後立即進行。資料卡：在發布完成的資料卡前，先提供範例目標對象群組，並在發布後定期提供實際讀者。	範本：評估資料卡範本是否能充分說明其適用的資料集。舉例來說，未回答問題的比例會評估資料集類別中持續未回答問題的百分比。資料卡：評估完成的資料卡描述資料集及其用途的準確度。舉例來說，讀者滿意度比較會收集資料資訊卡的讀者滿意度分數，並與資料資訊卡發布前的評估結果進行比較。
復原力和穩定性	資料資訊卡範本是否能承受修改或新增內容，特別是當範本用於多個網域，或由不同讀者讀取時。	範本：在製作人完成資料卡時或完成後立即提供。特別注意發布後所做的修訂資料卡：發布後所做的修訂和新增內容。	範本：評估範本在未經編輯、最常見的編輯方式，以及錯誤回答或重新調整用途的問題數量下，擷取的資料集多樣性。舉例來說，編輯比例是指使用範本建立的資訊卡數量，與範本中編輯次數的比率。資訊卡：衡量已發布資訊卡的修訂次數和內容新增次數，以及這些變更的頻率。舉例來說，平均故障間隔時間會測量編輯資料卡事件之間的平均時間。
流程明確易懂程度	製作人能否順利使用資料卡範本，以及新讀者能否順利上手、習慣使用並運用已完成的資料卡資訊。	範本：在完成過程中，向資料集製作人提供範本，以便在里程碑完成時進行簽到。資料卡：在公開發布或推出資料卡時。	範本：評估製作人對資料卡範本的理解程度，以及各部分的難度。舉例來說，形成性研究會主動招募讀者參與問卷調查和認知演練，以取得特定洞察資料。資料卡：評估讀者對資料卡的理解程度和可用性，以及資料卡是否適合不同讀者。舉例來說，分析工具會追蹤流量和參與度指標，找出整體瞭解程度的模式。不過，請注意虛榮指標。
支援性	提供支援以維持資料卡片運作的容量，以及提供的支援量。	範本：在貴機構中設定資料卡活動後，無論規模大小或是否為臨時活動，都會顯示範本。資料卡：資料卡可供使用並追蹤一段時間後，就會顯示資料卡。	範本：評估完成及發布資料資訊卡範本所需的額外時間和專業知識。舉例來說，辦公時間會衡量辦公時間或支援計畫期間的出席人數、資料集類型，以及資料集製作人員建立資料卡時收到的問題。資料卡：衡量資料卡對資料集問題品質和獨特性的影響，以及對資料集適當用途的影響。舉例來說，發布後的問題會追蹤與資料集相關的錯誤、問題或功能要求，這些問題會以問題形式提交，且資料卡未提供解答。
轉換	追蹤完成並發布範本資料資訊卡的製作人百分比，以及根據資料資訊卡對資料集做出決策的讀者百分比。	範本：在貴機構中設定資料卡活動後，無論規模大小，只要是臨時活動，就會顯示範本。資料卡：資料卡可供使用並追蹤一段時間後，就會顯示資料卡。	範本：衡量製作人完成資料資訊卡範本的成功率。舉例來說，分析會追蹤完成率和發布時間，以及資料卡範本中相關部分的百分比。資料卡：衡量讀者根據資料卡做出決策的成功率。舉例來說，質性研究會與讀者進行訪談和滿意度研究，藉此深入瞭解決策準確度和工作完成率。
參與度	追蹤觀眾與內容的互動程度，例如資料卡。	範本：在貴機構建立並發布資料卡範本後。資料卡：當資料卡與其代表的資料集一併公開發布時。如果資料卡無法探索，或有競爭 (而非互補) 的文件來源，這項指標的實用性就會降低。	範本：評估資料集製作人在資料資訊卡計畫中的參與程度和投入程度。例如：範本共用率是指將資料卡範本分享給其他資料集擁有者的製作人所占百分比。自然建立率是指在沒有要求的情況下建立的資料卡百分比。答案品質是指資料資訊卡中資訊的準確度和實用性。資料資訊卡：評估資料資訊卡的使用情況，以及從中產生的知識。例如：重複使用次數：代理商或資料集使用者參考資料卡以取得更多資訊的次數。「依區段」會評估資料卡各區段的參與度指標，並追蹤資料卡各區段的深層連結分享次數。
觸及率	追蹤看到資料卡的不重複使用者總數。這是參與度和轉換等其他指標的重要前置條件。	範本：在貴機構建立並發布資料卡範本後。資料卡：當資料卡與其代表的資料集一併公開發布時。如果資料卡無法探索，或有競爭 (而非互補) 的文件來源，這項指標的實用性就會降低。	範本：評估機構可產生的資料卡數量，與機構擁有的資料集數量相比。資料卡：評估資料卡收到的流量和品質，以及為資料集帶來的流量。舉例來說，摩擦記錄會追蹤資料集製作人員和資料卡片讀者在焦點團體會議期間可能遇到的挑戰、困難或挫折。

詳情請參閱「大規模遙測」。

運用這些遙測指標可能需要不同程度的資源和支援。舉例來說，與記錄資料卡完成率的分析相比，著重於瞭解資料卡對製作人友善程度的焦點團體，需要截然不同的資源。同樣地，相較於一系列的發布後訪談 (用來分析參與度)，評估資料卡流量所需的資源相對較少。您可以與貴機構的跨職能決策者一起查看這些不同類別，決定應使用哪些類別來追蹤影響，以及追蹤方式。

摘要

最後，用來評估資料卡影響的指標，與用來評估資料卡完成進度的指標不同。資料集的成熟度可能會影響您解讀資料資訊卡指標的方式。請考量資料集的成熟度和熱門程度，並一併考慮量化、質化和軼事影響。

5. 選取指標

如前所述，您需要根據情境，決定要確保哪些指標符合透明度目標。

如要選取指標，請按照下列步驟操作：

目標多元化。為透明度工作設定團隊目標，不僅要評估完成資料卡片的進度，還要評估建立及發布資料卡片後，對讀者的影響。
定義領先和落後指標。針對每個可顯示目標達成時間的落後指標，建立領先指標，追蹤有助於達成目標的重要活動。
設定互補的質性研究頻率。在您設定必要基礎架構，以評估整個機構的資料卡時，請建立定期進行質性研究的計畫，以驗證結果並校正量化指標。
訓練個別資料團隊。讓產生資料集和資料資訊卡的團隊，能夠在資料集和資料資訊卡的脈絡中，一併解讀質性和量化指標。

6. 恭喜

恭喜！您已具備建立資料資訊卡的所有條件！現在可以參加測驗，驗收學習成果。