演習 1: 明確かつシンプルに開始する

機械学習モデルに何をしてほしいかを書き込みます。

機械学習モデルには、次のような目的があります。

最適化のヒント
この時点でステートメントは質的になりますが、間接的な目標ではなく、実際の目標を捉えるようにしてください。わからない場合は、前のレッスンを参照して、機械学習モデルで何ができるかを確認してください。

演習 2: 理想的な結果

ML モデルをシステムに追加すると、望ましい結果が得られます。結果はモデル自体とは別個に、この結果は、モデルとその品質の評価とは大きく異なる可能性があります。

理想的な結果:

最適化のヒント
すでに最適化済みの指標に限定する必要はありません（これらの指標については、次の演習で説明します）。代わりに、商品やサービスのより大きな目標に焦点を当てるようにします。

演習 3: 成功の指標

ML システムでの成功と失敗の指標を書き留めます。障害指標は重要です。つまり、ML システムに障害が発生したかどうかを確認するにはどうすればよいですか。成功指標と失敗指標の両方が、モデルの評価指標とは別に表現されている必要があります。たとえば、適合率、再現率、AUC ではなく、予測結果について話します。多くの場合、これらの指標は上で指定した理想的な結果に関連付けられます。

成功指標は次のとおりです。

次の場合、ML モデルは失敗とみなされます。

最適化のヒント
  • 指標は測定可能ですか？
  • それはどのように測定しますか？
  • いつまで測定できるようになりますか。
    • 新しい ML システムの成功または失敗の把握にはどれくらいの時間がかかりますか？
  • エンジニアリングとメンテナンスのコストを長期的に検討します。
  • 失敗は、単に成功指標を達成していないだけではなく、

演習 4: 自分の出力

ML モデルに生成する出力を記述します。

ML モデルの出力は次のようになります。

出力は次のいずれかとして定義されます。

最適化のヒント
  • 出力は、マシンが生成できる定義で定量化できる必要があります。
  • 予測 ML を使用する場合、トレーニング データに使用する出力例を取得できますか？
    • データのソースと方法は？
  • 総再生時間をパーセンタイルに変換するなど、出力例の設計が必要になる場合があります。
  • トレーニングに使用する出力例を取得することが難しい場合は、過去の演習の回答を見直して、問題と目標をデータに基づいたモデルのトレーニングが可能なものに再構成する必要があります。

演習 5: 出力を使用する

ML モデルから出力を取得する必要があるタイミングと、出力をプロダクトで使用する方法を記述します。

ML モデルからの出力は、次の場合に取得されます。

結果は以下のために使用されます。

最適化のヒント
予測に必要なデータについて検討します。たとえば、ML を使用してマップアプリで移動時間を予測する場合、「ユーザーがモデルから出発地、目的地、交通手段を選択すると、モデルからの出力が取得されます」と表示されます。
予測される結果を商品でどのように使用するか検討してください。
  • UI でユーザーにすぐに表示されますか？
  • 後続のビジネス ロジックで使用しますか？
  • レイテンシ要件は何か。
これらの要件（ML モデルのサービング要件）は、予測に使用できる情報に影響を与える可能性があります。例:
  • リモート サービスからのデータ使用のレイテンシにより、リモート サービスが使用できなくなる場合があります。
  • データソースが新しい情報を利用できるようになっていない場合:
    • 処理されたログは 1 日に 1 回だけ生成されます。
    • 特定の情報（コンバージョン イベントなど）が実際に発生するまでは把握できません。
Oracle テスト: 常に正しい答えが得られたと仮定します。それをプロダクトでどのように使用するか？

演習 6: ヒューリスティック

ML を使用しなかった場合の解決方法を説明します。たとえば、使用するヒューリスティックなどです。

ML を使わなかった場合、次のようになります。

最適化のヒント
明日プロダクトを配布する必要があり、ビジネス ロジックのハードコードしかできないシナリオについて考えてみましょう。あなたならどうしますか？
下のボタンをクリックして、回答を印刷するか、.pdf として保存してください。

ページの印刷