透過集合功能整理內容 你可以依據偏好儲存及分類內容。

偵測及追蹤物件

透過 ML Kit 的裝置物件偵測和追蹤 API,您可以偵測並追蹤影像或即時攝影機動態饋給中的物件。

您可以選擇使用偵測到的 API 內建的概略分類器,也可以使用自己的圖片分類模型,將偵測到的物件分類。詳情請參閱使用自訂 TensorFlow Lite 模型

由於物件偵測和追蹤是在裝置上發生,因此可以與視覺搜尋管道的前端搭配使用。偵測並篩選物件後,您可以將其傳送至雲端後端,例如 Cloud Vision Product Search

iOS Android

主要功能

  • 快速偵測及追蹤物件:偵測物件,並在物件中取得物件的位置。追蹤這些連續圖片畫格的物件。
  • 經過最佳化的裝置端模型 物件偵測和追蹤模型已針對行動裝置進行最佳化處理,並用於即時應用程式 (即使在低階裝置上)。
  • 醒目的物件偵測:自動判斷圖片中最顯眼的物件。
  • 粗略分類:將物件分為廣泛類別,可用於過濾您不感興趣的物件。系統支援以下類別:居家用品、時裝商品、食物、植物和地點。
  • 使用自訂模型分類 使用自己的自訂圖片分類模型來識別或篩選特定物件類別。省略圖片背景,讓自訂模型發揮更好的效能。

搜尋結果範例

追蹤圖片中最重要的物件

以下範例顯示三個連續影格的追蹤資料,以及 ML Kit 提供的預設粗分類分類器。

追蹤 ID 0
範圍 (95, 45), (496, 45), (496, 240), (95, 240)
類別 地點
分類可信度 0.9296875
追蹤 ID 0
範圍 (84, 46), (478, 46), (478, 247), (84, 247)
類別 地點
分類可信度 0.8710938
追蹤 ID 0
範圍 (53、45)、(519、45)、(519、240)、(53、240)
類別 地點
分類可信度 0.8828125

相片:Christian Ferrer [CC BY-SA 4.0]

靜態圖片中的多個物件

下方範例顯示在圖片中偵測到的四個物件,以及 ML Kit 提供的預設粗分類分類器資料。

物件 0
範圍 (1, 97), (332, 97), (332, 332), (1, 332)
類別 時尚美妝
分類可信度 0.95703125
Object 1
範圍 (186、80)、(337、80)、(337、226)、(186、226)
類別 時尚美妝
分類可信度 0.84375
Object 2
範圍 (296、80)、(472、80)、(472、388)、(296、388)
類別 時尚美妝
分類可信度 0.94921875
Object 3
範圍 (439、83)、(615、83)、(615、306)、(439、306)
類別 時尚美妝
分類可信度 0.9375

使用自訂 TensorFlow Lite 模型

預設的概略分類器專為五個類別建構而成,因此只能針對偵測到的物件提供有限的資訊。您可能需要更專業的分類器模型,其中涵蓋較較小的概念領域,例如用於區分花卉或食物類型的模型。

這個 API 支援各種來源的自訂圖片分類模型,方便您依據特定用途自訂內容。詳情請參閱使用機器學習套件自訂模型。自訂模型可以隨附於您的應用程式,也可透過 Firebase 機器學習模型模型部署服務從雲端動態下載。

iOS Android

輸入圖片預先處理

如有需要,物件偵測和追蹤功能會使用雙線性圖像縮放和延展輸入輸入大小和長寬比,以符合基本模型的需求。