パイプライン テストのガイドラインは Colab で実証することはできません。その代わり、以下の演習を通じてガイドラインの実践演習を行います。次のページでは、このガイドラインを実装するためのリソースについて説明します。
次の質問については、選択内容をクリックして展開し、回答を確認してください。
ユニコーンの外観予測器を起動した後、新しいデータを再トレーニングして予測器を最新の状態に保つ必要があります。収集する新しいデータが多すぎるため、トレーニング用に新しいデータを一定の期間にわたってサンプリングすることにします。また、ユニコーンの外観における日単位および年単位のパターンも考慮する必要があります。新しいモデル バージョンをリリースできるのは 3 か月以内です。どの時間枠を選択しますか。
1 日。期間を大きくすると、大量のデータが生成され、モデルのトレーニングに時間がかかりすぎるためです。
不正解です。データ サンプリング レートを調整して、データセットのサイズを制限できます。モデルの更新は 3 か月に 1 回のみになるため、1 日分のデータでトレーニングされたモデルは徐々に古くなります。
データセットが大きすぎないようにするための 1 週間ですが、パターンを滑らかにできます。
不正解です。データ サンプリング レートを調整して、データセットのサイズを制限できます。モデルの更新は 3 か月に 1 回のみになるため、1 週間分のデータでトレーニングされたモデルは徐々に古くなります。
1 年ごと。モデルが日ごとまたは年次パターンによってバイアスされないようにします。
そのとおりです。すべてのシナリオでモデルが予測を学習できるように、代表的なデータセットを選択してください。
ユニコーンの外観予測ツールを起動します。順調です。3 週間後に休暇に戻り、モデルの品質が大幅に低下していることに気づきました。ユニコーンの動作は 3 週間で、大幅に変化する可能性は低いものと想定します。品質低下の原因として最も可能性が高いのは次のうちどれですか。
トレーニング / サービング スキュー。
正解です。Unicorn の動作は変わっていないと思われますが、トレーニング データが収集された後に、サービング データの基盤となるデータレポートやデータ形式が変更された可能性があります。サービング データをトレーニング データのデータスキーマに照らして確認することで、潜在的なトレーニング / サービング スキューを検出します。
固定しきい値でモデルの品質をテストし忘れました。
不正解です。モデルの品質のテストは、品質の低下の検出には役立ちますが、減少した理由を説明するものではありません。
モデルが最新ではありません。
不正解です。前述の質問で説明したように、トレーニング データがユニコーンの動作のすべてのサイクルに対応していると仮定します。
そこには十分なトレーニング データがないため、南極の予測をモニタリングすることにしました。特に冬の間は、予測の品質が不思議なほど低下します。原因は何でしょうか。
環境要因。
正解です。南極の嵐は予測品質の低下と相関関係があることに気づきました。このような嵐の中、ユニコーンの動作は変化します。さらに、南極で暴風雨が発生したときにデータを収集することは不可能です。つまり、このような条件では、モデルをトレーニングできません。
モデルが古くなる。
不正解です。原因が正しければ、数日間だけ低下するのではなく、モデルが陳腐化するため、品質は継続的に低下します。
必要な理由はありません。ML モデルにはランダム性があります。
不正解です。モデルの品質が変動する場合は、原因を調査する必要があります。再現性を高めるには、モデルのトレーニングでランダム性を排除するようにしてください。
ユニコーンの外観予測因子は 1 年間運用されています。多くの問題を修正し、品質が向上しました。小さな問題が続いていることに気づきました。都市部ではモデルの品質が若干低下しました。原因は何でしょうか。
予測の品質が高いため、ユーザーは簡単にユニコーンを見つけられます。そのため、ユニコーンの外観の動作に影響を及ぼします。
正解です。ユニコーンは、都市部での行動を変えて、注意の高まりに対応しました。モデルの予測は変化する動作に適応するため、ユニコーンは引き続き動作を変えます。モデルの動作がトレーニング データ自体に影響を与える状況は、フィードバック ループと呼ばれます。ユニコーンの動作の変化に対応する提供データの変化を検出するために、トレーニング / サービング スキューの検出を変更する必要があります。
人口が多い地域では、ユニコーンの登場が複数回報告されるため、トレーニング データが歪みます。
不正解です。このスキューによりリリース時から品質が低下する可能性があるため、これが原因ではありません。
都市部はモデル化が難しいため、
不正解です。モデルで都市部での予測が困難だった場合、開始後に品質が下がるのではなく、品質が最初から低下します。