Genauigkeit
Sehen Sie sich die folgenden Optionen an.
In welchem der folgenden Szenarien deutet ein hoher Genauigkeitswert darauf hin, dass sich das ML-Modell gut eignet?
Ein tödlicher, aber heilbarer Gesundheitszustand leidet 0, 01% der Bevölkerung. Ein ML-Modell verwendet Symptome als Merkmale und sagt diese Neigung mit einer Genauigkeit von 99,99 % voraus.
Die Genauigkeit ist hier ein schlechter Messwert. Schließlich wäre auch ein Modell, das immer krank ist, immer noch eine Genauigkeit von 99,99 %.
Die falsche Vorhersage von „nicht krank“ für eine Person, die tatsächlich krank ist, kann tödlich sein.
Ein teures Roboterhähnchen überquert eine stark befahrene Straße tausendmal am Tag. Ein ML-Modell wertet Verkehrsmuster aus und prognostiziert, wann dieses Huhn mit einer Genauigkeit von 99,99 % die Straße sicher überqueren kann.
Eine Genauigkeit von 99,99% auf einer stark ausgelasteten Straße deutet darauf hin, dass das ML-Modell viel besser als zufällig ist. In einigen Einstellungen sind die Kosten für einen kleinen Fehler jedoch immer noch zu hoch.
Eine Genauigkeit von 99, 99% bedeutet, dass das teure Hähnchen im Durchschnitt alle 10 Tage ersetzt werden muss. Das Hühnchen kann auch zu schweren Schäden an den Autos führen.
Beim Roulettespiel fällt ein Ball auf ein sich drehendes Rad und landet in einem von 38 Slots. Mithilfe visueller Merkmale (Dreh des Balls, Position des Rads beim Herunterfallen der Kugel, Höhe des Balls über dem Rad) kann ein ML-Modell den Slot, auf dem sich der Ball befindet, mit einer Genauigkeit von 4 % vorhersagen.
Dieses ML-Modell macht Vorhersagen viel besser als Zufall.Eine zufällige Vermutung wäre in 1/38 der Fälle richtig, was eine Genauigkeit von 2,6 % ergäbe.
Obwohl die Genauigkeit des Modells nur um 4 % beträgt, sind die Nachteile des Erfolgs weitaus mehr als die Nachteile eines Fehlers.
Precision
Sehen Sie sich die folgenden Optionen an.
Verwenden Sie ein Klassifizierungsmodell, bei dem E-Mails in zwei Kategorien unterteilt werden:
"spam" oder "not spam." Was passiert mit der Genauigkeit, wenn Sie den Klassifizierungsschwellenwert erhöhen?
Definitiv erhöhen.
Das Erhöhen des Klassifizierungsschwellenwerts erhöht in der Regel die Genauigkeit. Eine Erhöhung, d. h. die Genauigkeit erhöht sich jedoch nicht monoton, wenn der Grenzwert erhöht wird.
Wahrscheinlich erhöhen.
Im Allgemeinen werden durch eine Erhöhung des Klassifizierungsschwellenwerts falsch positive Ergebnisse reduziert und damit auch die Genauigkeit erhöht.
Wahrscheinlich geringer.
Im Allgemeinen werden durch eine Erhöhung des Klassifizierungsschwellenwerts falsch positive Ergebnisse reduziert und damit auch die Genauigkeit erhöht.
Definitiv verringern.
Im Allgemeinen werden durch eine Erhöhung des Klassifizierungsschwellenwerts falsch positive Ergebnisse reduziert und damit auch die Genauigkeit erhöht.
Recall
Sehen Sie sich die folgenden Optionen an.
Verwenden Sie ein Klassifizierungsmodell, bei dem E-Mails in zwei Kategorien unterteilt werden:
"spam" oder "not spam." Was passiert, wenn Sie den Klassifizierungsschwellenwert erhöhen?
Immer erhöhen.
Wenn Sie den Klassifizierungsschwellenwert erhöhen, geschieht Folgendes:
- Die Anzahl der richtig positiven Ergebnisse verringert oder bleibt gleich.
- Die Anzahl der falsch negativen Ergebnisse erhöht sich oder bleibt gleich.
Verringern oder bleiben Sie immer gleich.
Wenn wir unseren Klassifizierungsschwellenwert erhöhen, nimmt die Anzahl der richtig positiven Ergebnisse ab oder bleibt gleich und die Anzahl der falsch negativen Ergebnisse steigt oder bleibt gleich. Daher bleibt die Trefferquote entweder konstant oder verringert sich.
Bleiben Sie konstant.
Wenn wir unseren Klassifizierungsschwellenwert erhöhen, nimmt die Anzahl der richtig positiven Ergebnisse ab oder bleibt gleich und die Anzahl der falsch negativen Ergebnisse steigt oder bleibt gleich. Daher bleibt die Trefferquote entweder konstant oder verringert sich.
Genauigkeit und Trefferquote
Sehen Sie sich die folgenden Optionen an.
Verwenden Sie die beiden Modelle A und B, die jeweils dasselbe Dataset auswerten.
Welche der folgenden Aussagen ist korrekt?
Wenn Modell A eine höhere Genauigkeit als Modell B hat, ist Modell A besser.
Eine höhere Genauigkeit ist zwar gut, kann jedoch auf Kosten einer großen Verringerung der Trefferquote führen. Im Allgemeinen müssen wir sowohl die Genauigkeit als auch die Trefferquote zusammen betrachten oder zusammenfassende Messwerte wie den AUC, über die wir als Nächstes sprechen.
Wenn Modell A eine bessere Trefferquote aufweist als Modell B, ist Modell A besser.
Eine bessere Trefferquote ist zwar eine gute Trefferquote, kann jedoch zulasten einer wesentlich geringeren Genauigkeit führen. Im Allgemeinen müssen wir uns sowohl die Genauigkeit als auch die Trefferquote zusammen ansehen oder uns zusammenfassende Messwerte wie den AUC nennen. Darauf gehen wir als Nächstes ein.
Wenn Modell A eine höhere Genauigkeit und eine bessere Trefferquote als Modell B hat, ist Modell A wahrscheinlich besser.
Im Allgemeinen ist ein Modell, das in Bezug auf Genauigkeit und Trefferquote ein anderes Modell übertrifft, wahrscheinlich das bessere Modell. Offensichtlich muss der Vergleich an einer Genauigkeits-/Trefferquote erfolgen, die in der Praxis nützlich ist, damit dies aussagekräftig ist. Angenommen, das Modell zur Spamerkennung muss eine Genauigkeit von mindestens 90% haben, um nützlich zu sein und unnötige Fehlalarme zu vermeiden. In diesem Fall ist der Vergleich eines Modells mit einer Genauigkeit von 20% und einer Trefferquote von 99% mit einer Genauigkeit von {15% Genauigkeit, Trefferquote von 98 %} nicht besonders aufschlussreich, da keines der Modelle die Genauigkeit von 90% erfüllt. Unter Berücksichtigung der Vorbehalte ist dies jedoch eine gute Möglichkeit zum Vergleichen von Modellen bei Verwendung von Genauigkeit und Trefferquote.