Die Implementierung der Test- und Debugging-Richtlinien in diesem Kurs kann komplex sein. Sie können einige der Richtlinien mit TensorFlow und Tensor Extended (TFX) implementieren. TFX ist eine End-to-End-ML-Pipeline, die auf TensorFlow basiert. Eine vollständige Demo finden Sie in diesem TFX-Beispiel. In der folgenden Tabelle sind die verfügbaren Ressourcen in TF und TFX nach Richtlinie als Ergänzung zum End-to-End-Beispiel aufgeführt. Es werden nur Richtlinien aufgeführt, die von TF oder TFX unterstützt werden.
| Richtlinie | TF/TFX-Implementierung | Google-interne Implementierung |
|---|---|---|
| Richtlinien für die Fehlerbehebung beim ML-Modell | ||
| Daten analysieren, um sie zu verstehen | Untersuchen Sie Ihre Daten mit Pandas oder Facets.
|
|
| Eingabedaten mit einem Datenschema validieren | Verwenden Sie die TensorFlow-Datenvalidierung. |
|
| Aufteilungen müssen von guter Qualität sein | -- | In TFX werden Daten nach dem Zufallsprinzip aufgeteilt. TFX bietet derzeit jedoch keine Möglichkeit, die Qualität Ihrer Splits zu überwachen. |
| Testdaten testen | -- | Unittests für die TFX Transform-Komponente schreiben. Weitere Informationen finden Sie unter Unittests für tf.transform-Eingaben. |
| Tests für ML-Code implementieren | Debuggen Sie zuerst Ihre TF-Modelle mit Eager Execution. Anschließend können Sie Tests mit Tensorflow-Tests schreiben. | Weitere Informationen finden Sie unter Einheitentests in TFX und tfx.unit. |
| Optimierung | ||
| Hyperparameter abstimmen | Verwenden Sie die Hyperparameter-Abstimmung von Cloud ML. | Verwenden Sie den TFX-Tuner, um Hyperparameter parallel abzustimmen. Siehe Modelle automatisch abstimmen. |
| Messwerte | ||
| Modellmesswerte generieren | TensorBoard visualisiert Ihre TF-Grafik und stellt Messwerte dar. Weitere Informationen finden Sie unter TensorBoard: Grafik visualisieren. | Weitere Informationen finden Sie in der Google-spezifischen TensorBoard-Hilfe. |
| Bereitstellung in Pipeline | ||
| Pipelinemesswerte überwachen | -- | Siehe ML-Gesundheitsmetriken. |
| Integrationstests der Pipeline | -- | Siehe TFX-Integrationstests. |
| Modellqualität in der Produktion testen | Verwenden Sie die Tensorflow-Modellanalyse. | TFX-Modellvalidator verwenden |
| Modellinfra-Kompatibilität wird vor der Bereitstellung geprüft | -- | Verwenden Sie den TFX InfraValidator. |
| Abweichungen zwischen Training und Bereitstellung werden geprüft | Vermeiden Sie Featureabweichungen, indem Sie mithilfe von TFX Transform Feature Engineering-Code für das Training und die Bereitstellung freigeben. | Siehe TFX-Trainings-Skew-Erkennung. |
| Veralterung des Tracking-Modells | -- | Nicht implementiert. Weitere Informationen finden Sie unter Fehler bei der Funktionsanfrage verfolgen. |