给图片加标签

利用机器学习套件的为图片加标签的 API,您可以检测和提取与图片内多组类别的实体相关的信息。默认图片标签模型可以识别一般对象、地点、活动、动物物种和商品等。

您还可以使用自定义图片分类模型,根据特定用例定制检测。如需了解详情,请参阅使用自定义 TensorFlow Lite 模型

主要功能

  • 强大的通用基本分类器可识别超过 400 个描述照片中最常见对象的类别。
  • 利用自定义模型定制您的使用场景 使用 TensorFlow Hub 中的其他预训练模型,或使用您自己的通过 TensorFlow、AutoML Vision Edge 或 TensorFlow Lite Model Maker 训练的自定义模型。
  • 易用的高级别 API 无需处理低级别模型输入/输出、图像预处理和后处理,或者构建处理流水线。机器学习套件从 TensorFlow Lite 模型中提取标签,并以文本描述的形式提供这些标签。

请注意,此 API 适用于描述完整图片的图片分类模型。如果要对图片中的一个或多个对象(例如鞋子或家具)进行分类,可能更适合采用 Object Detection & amp; Tracking API。

支持的图片分类模型

Image Labeling API 支持不同的图片分类模型:

支持的图片分类模型
基本模型 默认情况下,该 API 使用强大的通用图片标签模型,可识别超过 400 个涵盖照片中最常见概念的实体。
自定义 TensorFlow Lite 模型 针对特定于应用的概念,该 API 接受来自各种来源的自定义图片分类模型。这些模型是从 TensorFlow Hub 下载的预训练模型,也可以是您自己的使用 AutoML Vision Edge、TensorFlow Lite Model Maker 或 TensorFlow 训练过的模型。模型可以与您的应用捆绑在一起,也可以通过 Firebase 机器学习进行托管,并在运行时下载。

使用基本模型

机器学习套件的基本模型会返回用于标识人物、事物、地点、活动等的实体列表。每个实体都有一个得分,表示机器学习模型对其相关性的置信度。借助这些信息,您可以执行自动元数据生成和内容审核等任务。机器学习套件提供的默认模型可识别 400 多个不同的实体

iOS Android

标签示例

图片标签 API 中的基本模型支持 400 多个标签,如以下示例所示:

类别标签示例
人员 Crowd
Selfie
Smile
活动 Dancing
Eating
Surfing
Things Car
Piano
Receipt
动物 Bird
Cat
Dog
植物 Flower
Fruit
Vegetable
地点 Beach
Lake
Mountain

示例结果

以下是附图中的实体示例。

照片:Clément Bucco-Lechat / Wikimedia Commons / CC BY-SA 3.0
标签 0
文本 体育馆
置信度 0.9205354
标签 1
文本 体育
置信度 0.7531109
标签 2
文本 活动
置信度 0.66905296
标签 3
文本 休闲
置信度 0.59904146
标签 4
文本 足球
置信度 0.56384534
标签 5
文本 净指标
置信度 0.54679185
标签 6
文本 植物
置信度 0.524364

使用自定义 TensorFlow Lite 模型

机器学习套件的基本图片标签模型是通用模型。经过训练,它可以识别 400 个描述照片中最常见对象的类别。您的应用可能需要专门的图像分类模型,以便更准确地识别数量较少的类别,例如,区分花卉种类或食品类型的模型。

此 API 支持来自各种来源的自定义图片分类模型,可让您针对特定使用场景量身定制。如需了解详情,请参阅使用机器学习套件的自定义模型。自定义模型可以与您的应用捆绑,也可以使用 Firebase Machine Learning 的模型部署服务从云端动态下载。

iOS Android

输入图片预处理

如果需要,“图片标签”会使用双线性图片缩放和拉伸调整输入图片的大小和宽高比,以便它们符合底层模型的要求。