1. 重要なポイントを定義する
データカードに含める質問のセットを決定しました。読者にとって重要だと感じた質問です。ただし、これらの質問に答えてデータカードと呼ぶほど単純ではありません。最終的なデータカードが読者のエクスペリエンスに最適化されるように、慎重に検討する必要があります。
データカードを読むユーザーは、次のような具体的な意思決定を行いたいと考えています。
- このデータセットはユースケースに適していますか？
- このデータセットを他のユーザーが使用できるようにすることはできますか？
- モデルにリスクを追加せずに、このデータセットを安全に使用するにはどうすればよいですか？
読者が適切な情報に効率的にアクセスできれば、コンテキスト内でデータセット関連の意思決定を非常にうまく行うことができます。情報の重要性や有用性は、読者が下す必要のある意思決定の種類と読者のバックグラウンドによって異なります。たとえば、データセットを使用するかどうかを判断する場合、コンプライアンス担当者はデータセットに関連付けられているライセンスを確認しますが、エンジニアは技術スタックを確認します。両方の読者は同じ質問をしますが、異なる回答を期待しています。
データカードは、読者が自信を持って意思決定を行えるように、データセットを包括的に説明する必要があります。これらの包括的な説明は、読者にデータカードから何を得てほしいかを判断し、正確で堅牢な整理された情報をデータカードに記録するのに役立ちます。もちろん、データカードの読者が行う可能性のあるすべての意思決定を特定することは不可能です。
2. データカードを計画する
- データカードの読者がどのような意思決定を行う必要があるか、データカードにどの程度の詳細を含める必要があるかを判断するには、次の表の各カテゴリについて質問に答えます。
閲覧者 | 決定 | 目標 | 関連性 | ニュアンス |
主な対象者は誰ですか？ | データセットについてどのような決定を下しますか？ | データカードに何を求めていますか？ | 目標を達成するために、データカードからどのような具体的なコンテンツが必要ですか？ | 読者について知っていることを踏まえて、コンテンツの詳細度やニュアンスをどの程度にする必要がありますか？ |
例: 本番環境ソフトウェア エンジニア | 例: 本番環境の ML モデルをテストするためにデータセットを使用する必要がありますか？ | 例: データセットの概要を教えて。実装方法を教えてください。 | 例: 意図された用途と不適切な用途、過去の使用状況と過去のモデルでの結果。 | 例: 非常にニュアンスが異なる。本番環境システムへの統合を目的とした技術的な使用とユーザビリティを重視します。 |
この表を使用してデータカードを評価し、優先度の高い読者がデータカードを便利に利用できるようにします。データカードを評価する方法は数多くありますが、おすすめの方法の 1 つは、ユーザビリティの重大度を評価することです。
正確な定義は異なる場合がありますが、次の重大度スケールは、優先順位に関係なく、問題の重大度と影響を評価します。このコンテキストでは、データカードのユーザビリティを指します。ユーザビリティが低いと、読者がデータカードに寄せる信頼性と有用性に影響する可能性があります。
- 先ほどの表の各オーディエンス グループに対してデータカードの状態がどの程度有用であるかを評価するには、次の重大度スケールで質問に回答します。
違反 | 重大度 | 修正 |
読者にとって役に立たない回答とはどのようなものですか？ | 1 から 5 のスケールで、この問題をどの程度緊急に修正する必要がありますか？（該当するチェックボックスをオンにします）:
| 解決策は？ |
3. 十分な量を目指す
通常、最初のデータカードを作成すると、次のいずれかの現象が発生します。
- 情報が多すぎると、読者は圧倒されてしまいます。
- 情報が少なすぎると、読者は混乱します。
データカードの作成者は、データカード内の情報をキュレートして優先順位を付ける必要があります。優れた透明性アーティファクトは、読者が明確に理解できる十分なコンテキストを提供します。そうでない場合は、次の手順を伝えます。
データセットを理解して使用しやすくする情報を提供する必要があります。データセットの複雑さが増すと、データカードで要約する必要がある情報や説明の密度に影響することがあります。
読者の専門知識のレベルに関係なく、誰でも情報過多になる可能性があるため、次の情報を含む正しい情報を提示することが重要です。
- 提供する必要がある情報の種類。
- 提供できる情報の量。
- 詳細。
回答では、すべてを詳細に説明するのではなく、すべてを要約するように努め、読者がデータセットの分析情報を得るために必要なコンテキストを反映する必要があります。
ヒューリスティック
データカードの全体的な読み取りエクスペリエンスを評価するために使用できる一連のヒューリスティックを作成しました。これらのヒューリスティックは、データカードが成功し、実践で大規模に適切に採用されるために満たすべき目標と見なされます。次の表に、これらの目標とその説明を示します。
目的 | 説明 |
一貫性 | データカードは、データ モダリティやドメインに関係なく相互に比較可能でなければなりません。これにより、ユースケースのコンテキスト内でクレームを簡単に解釈して検証できます。1 回限りのデータカードのデプロイは比較的簡単ですが、導入を拡大する際には、チームや組織で比較可能性を維持する必要があります。 |
包括的 | データセットのライフサイクルの最後のステップとして作成されるのではなく、データセットと同時にデータカードを簡単に作成できるようにする必要があります。また、データカードのフィールドの入力は、最も適切な個人に分散して割り当てる必要があります。これには、データカードを超えて、データセットのライフサイクルで生成されるさまざまなレポートに適用される標準化された方法が必要です。 |
わかりやすく簡潔であること | 読者の熟練度はさまざまであり、データカードの解釈に影響します。関係者の熟練度が異なるシナリオでは、データセットのメンタルモデルが最も強力な個人が事実上の意思決定者になります。最後に、緊急性や難易度の高いタスクは、意思決定への非伝統的なステークホルダーの参加を減らす可能性があります。意思決定は「専門家」に委ねられます。これにより、ダウンストリームとラテラル ステークホルダーの状況に応じたニーズを反映する重要な視点が欠落するリスクがあります。データカードは、最も熟練度の低い読者に効率的に情報を伝え、熟練度の高い読者が必要に応じてより多くの情報を見つけられるようにする必要があります。コンテンツとデザインは、読者の検討プロセスを過度に負担することなく進め、意思決定のためのデータセットの共有メンタルモデルに向けて、関係者の協力を促すものである必要があります。 |
4. ヒューリスティックをスコアリングする
- データカードの回答を確認するには、各ヒューリスティックをスコアリングするために作成した次のスコアカードを使用します。最後に、データカードの総合スコアを集計して、進捗状況を把握できます。また、各ヒューリスティックの改善に必要な追加のコンテキストやアクション アイテムを把握するために、コメントを追加することもできます。
ヒューリスティック | 基準 | コメント | スコア |
次のヒューリスティックに基づいて、完成したデータカードを自己採点します。 | ヒューリスティックの基準 | データカードを改善できる領域を特にメモしておきます。 | 数字のみ、自己スコア（0 ～ 10） |
理解しやすい |
| . | . |
包括的 |
| . | . |
一貫性 |
| . | . |
簡潔 |
| . | . |
合計スコア = （合計ポイント/120） | . | . | /120 |
5. 慎重な分析
データとは、特定の目的のために構造化された方法で取得された、人、文化、ビジネスに関する情報のことです。ただし、繰り返し述べているように、これらはすべてニュアンスがあり、さまざまな程度の複数のディメンションが絡み合っています。これにより、データセットに対して実行する分析は、データセット自体に込められた考え方を理解する窓口となり、その複雑さを理解するのに役立ちます。
たとえば、人々の交差分析では、データセット内の人的要因の組み合わせを調べて、モデルがデータセットでトレーニングされたときに、他のサブグループよりもパフォーマンスが優れている場合など、不均衡な結果が生じる可能性を特定できます。分解分析では、さまざまな要因に基づいてデータセットを分解し、通常は大きな集計データに隠されているサブグループや疎外された集団の重要なパターンを明らかにします。これにより、読者は結果を予測できます。
その結果、交差性と内訳分析（IDA）は、データセット内の明確な関係を確立することで、さまざまな状況下で起こりうる結果の範囲をデータカードで伝える効果的な方法であることがわかりました。IDA は、ラベルと機密性の高いエンティティの相関関係、データセットのギャップ（データセットに昼間に撮影された写真しかないなど）、変数間の関係（AI モデルが偽の相関関係を学習したり、プロキシを選択したりする原因となる可能性がある）など、データセット内の表現に関する重要な手がかりを読者に提供できます。これらの分析は、ユーザーに影響を与えた可能性のあるエクスペリエンスを反映した、実際の状況に置かれると、さらに有用になります。
たとえば、IDA の結果をデータカードで表示すると、読者はデータセットのサブセット（スライスとも呼ばれます）で ML モデルがどのように動作するかを直感的に把握できます。このため、データセット作成者はデータセットの分析とデータカードでの提示にこれまで以上に注意を払う必要がありますが、最終的にはステークホルダーにとってより良いプロダクトの成果につながる可能性があります。
IDA を使用すると、読者はモデルでデータセットをどのように使用するかをより直感的に理解できます。問題が発生した場合は、専門家、プロダクト チーム、当事者と協力して分析の枠組みを構築します。IDA は、読者に説明する必要があるコンテキストや、読者が適切に解釈できるように追加のサポートが必要なコンテキストに根ざしていることがよくあります。
6. データを分析する
データセットを分析する手順は次のとおりです。
- 分析を開始する前に、Explore を使用してデータを探索します。TensorFlow Data Validation（TFDV）や Learning Interpretability Tool（LIT）などのツールを使用して、データセットのスキューと不均衡を直感的に把握します。結果を使用して分析設計を策定します。
- 分析を慎重に設計します。分析の結果は、評価の目標、分析を実施するための専門知識とリソースへのアクセス、分析を実施するタイミングと場所、分析が実施される AI モデルのコンテキストに大きく影響されます。
- まず、想定される用途に関連する要素から始めます。インタレスト グループを作成し、そこから拡大する際は、想定されるユースケースに最も影響を与える可能性のある人口統計学的、社会文化的、行動的、形態学的要因を調整します。
- 報告のみで、コメントはしない。公平性分析に影響を与える要因と前提条件は、定量化が難しい歴史的、文化的固有の社会構造に存在することに注意してください。読者を混乱させる可能性のあるコメントを追加しないように注意してください。代わりに、読者が自分の状況に合わせて結果を調整できるような分析を再現する方法を提供します。
- 将来を見据えた計画を立てる。データセットの表現を確認する、さまざまなシナリオで値を一定に保つ、分析をデータセットに関連する追加要因の範囲の値と組み合わせることで、将来発生する可能性のある追加要因を考慮します。
- 再現できない結果について、より多くのコンテキストを提供します。指標をダウンストリームのステークホルダーが再現できない場合は、分析に関する十分なコンテキストを提供します。読者がこの情報を使用してデータセットのメリットとデメリットを比較できる場合、データセットに対する信頼を築くことができます。
7. 完了
これで、データカードで正解を提供するには、いくつかの方法があります。これで、監査の準備が整いました。