このモジュールでは、分類タスクにロジスティック回帰を使用する方法と、分類モデルの有効性の評価方法について説明します。
分類
分類と回帰
- 確率出力にロジスティック回帰を使用することもあります。これは（0, 1）の回帰です。
- それ以外の場合は、個別のバイナリ分類の値にしきい値が設定されます
- しきい値の選択は重要な選択であり、調整できる
評価指標: 正確性
- 分類モデルをどのように評価するか？
評価指標: 正確性
- 分類モデルをどのように評価するか？
- 可能な測定方法の 1 つ: 精度
- 正確に予測された割合
精度は誤解を招く可能性があります
- 多くの場合、精度は低い、または誤解を招く指標です。
- ほとんどの場合、さまざまな種類のミスで費用が異なる
- 一般に、クラスの不均衡（陽性または陰性が非常にまれな場合）があります。
真陽性と偽陽性
- クラスが不均衡な問題、さまざまな種類のエラーの分離に便利
|
真陽性 オオカミを正しく呼んでいます。 この町を救いました。 |
偽陽性 エラー: 「誤ってオオカミ」と呼びました。 誰もが怒っています。 |
|
偽陰性 オオカミがあったが、見つからなかった。ニワトリをすべて食べました。 |
真陰性 オオカミやアラームなし。 大丈夫です。 |
評価指標: 適合率と再現率
- 適合率: （真陽性）/（すべての陽性の予測）
- モデルが「ポジティブ」なクラスに分類した場合、正しく対応しましたか？
- 直感: このモデルは泣き、「オオカミ」と鳴る頻度が高すぎたのでしょうか。
評価指標: 適合率と再現率
- 適合率: （真陽性）/（すべての陽性の予測）
- モデルが「ポジティブ」なクラスに分類した場合、正しく対応しましたか？
- 直感: このモデルは泣き、「オオカミ」と鳴る頻度が高すぎたのでしょうか。
- 再現率: （真陽性）/（すべての実際の陽性）
- 可能性のあるすべての陽性のうち、モデルは正しく識別したものか。
- 直感: オオカミを見逃していましたか？
終了したら、[再生] をタップして続行します
以下の選択肢をご確認ください。
メールを「迷惑メール」または「迷惑メールではない」の 2 つのカテゴリに分ける分類モデルについて考えてみましょう。分類しきい値を引き上げると、精度はどうなりますか？
明らかに増加している。
通常、分類しきい値を上げると精度が上がります。ただし、しきい値を上げると、の精度が単調に向上するとは限りません。
おそらく増加するでしょう。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
おそらく減少する。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
明らかに減少している。
一般に、分類しきい値を上げると誤検出が減り、精度が向上します。
ROC 曲線
各ポイントは、1 つの決定しきい値での TP レートと FP レートです。
評価指標: AUC
- AUC: 「ROC 曲線の下の面積」
評価指標: AUC
- AUC: 「ROC 曲線の下の面積」
- 解釈:
- ランダムな陽性とランダムな陰性を選択すると、モデルが正しい順序でランク付けされる確率はどのくらいでしょうか。
評価指標: AUC
- AUC: 「ROC 曲線の下の面積」
- 解釈:
- ランダムな陽性とランダムな陰性を選択すると、モデルが正しい順序でランク付けされる確率はどのくらいでしょうか。
- 直感的: 利用可能なすべての分類しきい値で集計されたパフォーマンス指標
予測バイアス
- ロジスティック回帰の予測は偏りがないようにしてください。
- 予測値の平均 == 観測値の平均
予測バイアス
- ロジスティック回帰の予測は偏りがないようにしてください。
- 予測値の平均 == 観測値の平均
- バイアスはカナリアです。
- ゼロバイアスだけでは、システム内のすべてが完璧とは限りません。
- 健全性チェックは非常に優れています。
予測バイアス（続き）
- 偏見があるなら問題があります。
- 機能セットが不完全かどうか
- バグが多いパイプラインは、
- 偏見のあるトレーニング サンプル
- 調整レイヤでバイアスを修正するのではなく、モデル内で修正します。
- データスライスのバイアスを探します。バイアスは改善に役立ちます。
バイアスのバケット化されたバイアスを示す調整プロット
