ROC と AUC
以下の選択肢をご確認ください。
次の ROC 曲線のうち、0.5 より大きい AUC 値を生成するものはどれですか？
すべての正のスコアがすべてのネガティブより上位であるため、ROC 曲線は最適であることになります。AUC は 1.0 です。
実際には、AUC 1.0 の「パーフェクト」分類器を使用している場合は、モデルのバグを示している可能性があるため、不審に思われるかもしれません。たとえば、トレーニング データに過剰な適合する場合や、ラベルデータが特徴の一つに複製される場合があります。
これは最も悪い ROC 曲線です。すべてのネガティブがすべてのポジティブよりも上位にランクされ、AUC は 0.0 です。すべての予測を反転する場合（ネガティブをポジティブに、ポジティブをネガティブに反転する場合）、実際には完全な分類器があります。
この ROC 曲線は、AUC が 0.5 なので、50% の確率でランダムなネガティブ サンプルをランダムなネガティブ サンプルよりも大きくランク付けしています。つまり、予測能力はランダムな推測に勝るものではなく、対応する分類モデルは基本的に価値がありません。
この ROC 曲線は、0.5 ～ 1.0 の AUC を持ち、50% を超えるランダムなネガティブ サンプルよりもランダムにポジティブ サンプルをランク付けしています。通常、実際のバイナリ分類の AUC 値はこの範囲になります。
この ROC 曲線は、0 ～ 0.5 の AUC を有しています。つまり、ランダムな陽性の例を確率が 50% 未満のランダムなネガティブなサンプルよりも高くランク付けされていることを意味します。
対応するモデルは、ランダム推測よりもパフォーマンスが劣ります。このような ROC 曲線が表示された場合は、データにバグがある可能性があります。
AUC とスケーリングの予測
以下の選択肢をご確認ください。
特定のモデルからのすべての予測に 2.0 を掛ける（たとえば、モデルが 0.4 と予測した場合、2.0 を乗算して予測を 0.8 に）と、そのモデルのパフォーマンスは AUC で測定されます。どのように変化しますか？
変更なし。AUC では、相対的な予測スコアのみが考慮されます。
はい。AUC は相対予測に基づいているため、相対ランキングを保持する予測の変換は AUC に影響しません。
これは、2 乗誤差、ログ損失、予測バイアス（後述）などの他の指標には明らかではありません。
予測値が大幅にずれているため、AUC の品質が低下する可能性があります。
興味深いことに、予測値が異なる場合（おそらく真実は遠く）でも、これらに 2.0 を掛けると、予測値の相対的な順序は同じになります。AUC は相対的なランキングのみを重視するため、予測の単純なスケーリングによる影響を受けません。
予測値がすべて離れているため、AUC が向上します。
予測間の広がりの量は、実際には AUC には影響しません。ランダムに描かれる真陽性の予測スコアは、ランダムに描かれた陰性より小さなイプシロンでもあるだけで、AUC スコア全体に貢献している成功と見なされます。