圖片標籤

您可以透過 ML Kit 的映像檔標籤 API,偵測並擷取圖片中各類別實體的實體相關資訊。預設的圖片標籤模型可識別一般物件、地點、活動、動物種類、產品等。

您也可以使用自訂圖片分類模型,按照特定用途自訂偵測方式。詳情請參閱使用自訂 TensorFlow Lite 模型

主要功能

  • 功能強大的一般用途分類器可以辨識超過 400 種類別,用來說明相片中最常出現的物件。
  • 根據個人用途自訂應用實例 使用 TensorFlow Hub 的其他預先訓練模型,或是利用 TensorFlow、AutoML Vision Edge 或 TensorFlow Lite Model maker 訓練的自訂模型。
  • 易於使用的高階 API 無須處理低層級模型輸入/輸出、影像前置與後處理,或建構處理管道。機器學習套件會從 TensorFlow Lite 模型擷取標籤,並提供文字說明。

請注意,此 API 適用於描述完整圖片的圖片分類模型。如果需要將圖片中的一或多個物件 (例如鞋子或家具) 分類,則 Object Detection & amp; Tracking API 可能較為適合。

支援的圖片分類模型

Image Labeling API 支援不同的圖片分類模型:

支援的圖片分類模型
基礎模型 根據預設,API 會使用功能強大的通用圖片標籤模型,可識別超過 400 個涵蓋相片中最常見概念的實體。
自訂 TensorFlow Lite 模型 為了鎖定應用程式專屬概念,API 可接受多種來源的自訂圖片分類模型。這些模型可能是從 TensorFlow Hub 下載的預先訓練模型,或是用 AutoML Vision Edge、TensorFlow Lite Model Maker 或 TensorFlow 本身訓練的訓練模型。這類套件可與您的應用程式搭配使用,或透過 Firebase 機器學習託管,並於執行階段下載。

使用基本模型

ML Kit 的基本模型會傳回可識別人物、事物、地點和活動等等的實體清單。每個實體都有一個分數,可指出機器學習模型對其關聯性的可信度。有了這些資訊,您就可以執行自動化中繼資料產生與內容審核等工作。ML Kit 提供的預設模型可辨識 400 多個不同的實體

iOS Android

標籤範例

圖片標籤 API 中的基本模型支援 400 多個標籤,如以下範例所示:

類別標籤範例
人員 Crowd
Selfie
Smile
活動 Dancing
Eating
Surfing
事物 Car
Piano
Receipt
動物 Bird
Cat
Dog
植物 Flower
Fruit
Vegetable
地點介面集 Beach
Lake
Mountain

搜尋結果範例

以下是附相片中可辨識的實體範例。

相片:Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
標籤 0
文字 體育館/體育場
信心 0.9205354
標籤 1
文字 體育
信心 0.7531109
標籤 2
文字 事件
信心 0.66905296
標籤 3
文字 休閒
信心 0.59904146
標籤 4
文字 足球
信心 0.56384534
標籤 5
文字 淨值
信心 0.54679185
標籤 6
文字 植物
信心 0.524364

使用自訂 TensorFlow Lite 模型

ML Kit 的基本映像檔標籤模型是專為一般用途所設計。這個訓練功能可辨識 400 個類別,用來說明相片中最常出現的物件。您的應用程式可能需要專屬的圖片分類模型,可以更精確地識別更窄的類別,例如區分花卉或食物類型的模型。

此 API 支援各種來源的自訂圖片分類模型,讓您針對特定用途進行自訂。詳情請參閱使用 ML Kit 自訂模型一文。您可以將自訂模型與您的應用程式搭配使用,也可以使用 Firebase 機器學習的模型部署服務從雲端動態下載。

iOS Android

輸入圖片預先處理

如有需要,圖片標籤會使用雙線性圖片縮放和延展功能,調整輸入圖片大小和長寬比,以符合基本模型的要求。