このコースのテストとデバッグに関するガイドラインの実装は複雑な場合があります。ガイドラインの一部は、TensorFlow と TensorFlow Extended（TFX）を使用して実装できます。TFX は、TensorFlow に基づくエンドツーエンドの ML パイプラインです。デモについては、こちらのエンドツーエンドの TFX の例をご覧ください。エンドツーエンドの例を補完するために、次の表に TF と TFX で使用可能なリソースをガイドラインごとに示します。ここには、TF または TFX でサポートされているガイドラインのみが表示されます。
| ガイドライン | TF/TFX の実装 | Google 社内での実装 |
|---|---|---|
| ML モデルのデバッグに関するガイドライン | ||
| データを分析して理解を深める | pandas または facets を使用してデータを探索します。
|
|
| データスキーマを使用した入力データの検証 | TensorFlow データ検証を使用します。 |
|
| 分割の品質を良好に保つ | -- | TFX はデータをランダムに分割します。ただし、現在のところ、TFX にはスプリットの品質をモニタリングする方法がありません。 |
| エンジニアリング データのテスト | -- | TFX 変換コンポーネントの単体テストを作成する。tf.transform 入力の単体テストをご覧ください。 |
| ML コードのテストの実装 | まず、Eager Execution で TF モデルをデバッグします。次に、Tensorflow Testing でテストを作成します。 | TFX での単体テストと tfx.unit をご覧ください。 |
| 最適化 | ||
| ハイパーパラメータの調整 | Cloud ML のハイパーパラメータ調整を使用します。 | TFX Tuner を使用して、ハイパーパラメータを並行して調整します。モデルの自動チューニングをご覧ください。 |
| 指標 | ||
| モデル指標の生成 | TensorBoard は、TF グラフを可視化し、指標をプロットします。Tensorboard: Graph Visualization をご覧ください。 | Google 固有の TensorBoard のヘルプをご覧ください。 |
| パイプラインへのデプロイ | ||
| パイプライン全体の指標をモニタリングする | -- | ML ヘルス指標ダッシュボードをご覧ください。 |
| パイプラインの統合テスト | -- | TFX 統合テストをご覧ください。 |
| 本番環境でのモデルの品質のテスト | Tensorflow Model Analysis を使用します。 | TFX ModelValidator を使用する |
| サービス提供前にモデルインフラストラクチャの互換性を検証する | -- | TFX InfraValidator を使用します。 |
| トレーニング / サービング スキューの確認 | 特徴の偏りを防ぐには、TFX 変換を使用してトレーニングとサービング全体で特徴量エンジニアリング コードを共有します。 | TFX トレーニング / サービング スキューの検出をご覧ください。 |
| モデルの鮮度のトラッキング | -- | 実装されていません。機能リクエストのトラッキング バグをご覧ください。 |