公平性: バイアスを特定する

モデルのトレーニングと評価用にデータを準備する際は、公平性の問題を念頭に置き、バイアスの潜在的な原因を監査して、モデルを本番環境にリリースする前にその影響を事前に軽減できるようにすることが重要です。

バイアスが潜んでいる可能性のある場所はどこですか？データセットで注意すべき危険信号は次のとおりです。

欠損している特徴値

データセットに、多数のサンプルで欠損値がある特徴が 1 つ以上ある場合、データセットの特定の重要な特性が過小評価されていることを示している可能性があります。

演習: 理解度を確認する

品種、年齢、体重、気質、1 日に抜ける毛の量など、さまざまな特徴に基づいて、保護犬の養子縁組の可能性を予測するモデルをトレーニングしています。目標は、犬の身体的または行動的な特徴に関係なく、すべての種類の犬に対してモデルが同等のパフォーマンスを発揮することです。

トレーニング セット内の 5,000 個のサンプルのうち、1,500 個のサンプルに気質の値がないことがわかりました。次のうち、調査すべきバイアスの潜在的な原因はどれですか。

特定の犬種では、気質に関するデータが欠落している可能性が高いです。
気質データの可用性が犬種と相関している場合、特定の犬種の養子縁組の予測の精度が低下する可能性があります。
12 か月未満の犬は、気質データが欠落している可能性が高い
気質データの可用性が年齢と相関している場合、子犬と成犬では養子縁組の予測の精度が低下する可能性があります。
大都市から救助された犬には、性格に関するデータがありません。
一見すると、これはバイアスの潜在的な原因には見えません。データの欠落は、犬の品種、年齢、体重などに関係なく、大都市のすべての犬に等しく影響するためです。しかし、犬の居住地がこれらの身体的特徴の代用として効果的に機能する可能性があることを考慮する必要があります。たとえば、大都市の犬が田舎の犬よりもかなり小さい傾向がある場合、体重の軽い犬や特定の小型犬の飼いやすさの予測の精度が低下する可能性があります。
データセットから気質データがランダムに欠落している。
気質データが本当に無作為に欠落している場合は、偏りの原因となる可能性はありません。ただし、気質データがランダムに欠落しているように見えることがありますが、詳細な調査で差異の説明が明らかになる可能性があります。そのため、データのギャップがランダムであると想定するのではなく、徹底的なレビューを行って他の可能性を排除することが重要です。

想定外の特徴値

データを探索する際は、特に特徴的でない、または異常であるとして際立った特徴値を含む例も探す必要があります。このような予期しない特徴値は、データ収集中に発生した問題や、バイアスをもたらす可能性のある不正確さを示している可能性があります。

演習：理解度をチェックする

救助犬の養子縁組モデルをトレーニングするための次の架空の例を確認します。

品種 年齢（年） 体重（ポンド） 気性 shedding_level
トイプードル 2 12 わくわくする 低
ゴールデン レトリバー 7 65 冷静 高
ラブラドール レトリバー 35 73 冷静 高
フレンチ ブルドッグ 0.5 11 冷静 中
不明な混合種 4 45 興奮しやすい 高
バセット ハウンド 9 48 冷静 中
特徴データに問題はありますか。
回答を確認する

データスキュー

データに偏りがあり、特定のグループや特性が実際の割合よりも過小または過大に表現されている場合、モデルにバイアスが生じる可能性があります。

モデルのパフォーマンスを監査する際は、結果を集計で確認するだけでなく、サブグループ別に結果を分類することが重要です。たとえば、Google の「レスキュー ドッグ」導入可能性モデルの場合、公平性を確保するために、全体的な精度に目を向けるだけでは不十分です。また、サブグループ別のパフォーマンスを監査して、犬の品種、年齢グループ、サイズグループごとにモデルのパフォーマンスが同等であることを確認する必要があります。

このモジュールの後半のバイアスの評価では、サブグループごとにモデルを評価するさまざまな方法について詳しく説明します。

前へ
バイアスの種類（5 分）
次へ
バイアスの軽減（5 分）