運動 1：簡明扼要

寫下您希望機器學習執行的操作。

我們希望機器學習模型能夠：

成功的提示
此時，陳述式可以定性，但請確保這擷取到真正的目標，而非間接目標。如果您不確定，請參閱前幾堂課，瞭解機器學習技術的潛力。

運動 2：你的理想結果

將機器學習模型新增至系統後，應該會產生想要的結果。 這與結果本身無關，是否與模型本身無關？請注意，這個結果可能與評估模型及其品質的方式略有不同。

理想的結果是：

成功的提示
您不需要將指標限制在已最佳化產品的指標 (我們會在下一個練習中說明)。而是改為著重於產品或服務的目標。

運動 3：您的成功指標

寫下您的機器學習系統成功和失敗的指標。失敗指標很重要，也就是說，如何瞭解機器學習系統是否失敗？成功和失敗的指標應獨立於模型評估指標。舉例來說，請勿 討論精確度、喚回度或 AUC；而是要 討論預期結果。 這些指標通常會連結至您在上方指定的理想結果。

我們的成效指標如下：

如果機器學習模型符合以下情況，就會視為失敗：

成功的提示
  • 這些指標是否可供評估？
  • 貴公司如何衡量成效？
  • 您何時可以接受評估？
    • 您需要花多少時間才能確認新機器學習系統的成功或失敗？
  • 長期下來，思考工程和維護成本。
  • 失敗的原因不只是失敗的成就指標所致。

運動 4：您的輸出內容

編寫您要讓機器學習模型產生的輸出內容。

機器學習模型的輸出內容如下：

輸出內容定義為下列其中一種：

成功的提示
  • 輸出結果必須具有可由機器產生的定義。
  • 使用預測式機器學習功能時，您是否能取得用於訓練資料的範例輸出內容？
    • 來源為何？來源為何？
  • 您的輸出範例可能需要經過設計，例如將觀看時間轉換成百分位數。
  • 如果難以取得用於輸出的輸出範例，您可能需要重新查看過去運動的回應，將問題和目標重組為資料，以便根據資料訓練模型。

運動 5：使用輸出

從機器學習模型中取得輸出內容，以及在產品中使用輸出內容的時機。

下列情況將取得機器學習模型的輸出內容：

結果將用於：

成功的提示
思考您需要哪些資料才能進行預測。舉例來說，假設您使用機器學習技術在地圖應用程式中預測交通時間，則撰寫內容可能會是「當使用者選取起點、目的地和交通方式時，將會取得模型的輸出內容」。
思考你會如何在產品中使用預測結果。
  • 使用者介面會立即向使用者顯示嗎？
  • 是否由後續的商業邏輯取用？
  • 您有哪些延遲需求？
上述要求 (機器學習模型的提供需求) 可能會影響提供的資訊。例如：
  • 因使用遠端服務的資料而延遲，可能會導致無法使用。
  • 如果資料來源在取得新資訊時的延遲：
    • 已處理的記錄檔每天只能產生一次。
    • 部分資訊在實際發生之前 (例如轉換事件) 才會顯示。
Oracle 測試：假設您一直擁有正確答案。你會如何使用產品？

運動 6：經驗法則

寫下你未採用機器學習技術應如何解決問題。例如您可以使用的經驗法則。

如未使用機器學習，我們會：

成功的提示
試想到您未來可能需要提供產品的情況，才能採取硬式編碼的商業邏輯。請問該怎麼做？
請點選下方按鈕，將回覆列印或儲存為 .pdf。

列印頁面