使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

对象检测和跟踪

利用机器学习套件的设备端对象检测和跟踪 API,您可以检测和跟踪图片或实时相机 Feed 中的对象。

(可选)您可以使用 API 中内置的粗分类器,或使用您自己的自定义图片分类模型,对检测到的对象进行分类。如需了解详情,请参阅使用自定义 TensorFlow Lite 模型

由于对象检测和跟踪是在设备上进行的,因此它在可视化搜索流水线的前端效果很好。检测并过滤对象后,您可以将其传递给云后端,例如 Cloud Vision Product Search

iOS Android

主要功能

  • 快速对象检测和跟踪 检测对象并获取其在图片中的位置。跟踪连续的图片帧中的对象。
  • 优化的设备端模型 对象检测和跟踪模型已针对移动设备进行了优化,旨在用于实时应用,即使在低端设备上也不例外。
  • 突出对象检测 自动确定图片中最突出的对象。
  • 粗类别:将对象分为多个大类,您可以使用这些类别来过滤掉您不感兴趣的对象。支持以下类别:家居用品、时尚商品、食品、植物和地点。
  • 使用自定义模型进行分类:使用您自己的自定义图片分类模型来识别或过滤特定对象类别。通过省略图片背景,使您的自定义模型效果更好。

示例结果

跨图片跟踪最突出的对象

下例显示了使用机器学习套件提供的默认粗分类器的三个连续帧的跟踪数据。

跟踪 ID 0
边界 (95, 45)、(496, 45)、(496, 240)、(95, 240)
类别 位置
分类置信度 0.9296875
跟踪 ID 0
边界 (84, 46)、(478, 46)、(478, 247)、(84, 247)
类别 位置
分类置信度 0.8710938
跟踪 ID 0
边界 (53, 45)、(519, 45)、(519, 240)、(53, 240)
类别 位置
分类置信度 0.8828125

照片:Christian Ferrer [CC BY-SA 4.0]

静态图片中的多个对象

以下示例展示了使用机器学习套件提供的默认粗分类器在图片中检测到的四个对象的数据。

对象 0
边界 (1, 97)、(332, 97)、(332, 332)、(1, 332)
类别 时尚
分类置信度 0.95703125
Object 1
边界 (186, 80)、(337, 80)、(337, 226)、(186, 226)
类别 时尚
分类置信度 0.84375
Object 2
边界 (296, 80)、(472, 80)、(472, 388)、(296, 388)
类别 时尚
分类置信度 0.94921875
Object 3
边界 (439, 83)、(615, 83)、(615, 306)、(439, 306)
类别 时尚
分类置信度 0.9375

使用自定义 TensorFlow Lite 模型

默认粗分类器是针对五个类别构建的,仅提供有关检测到的对象的有限信息。您可能需要更专用的分类器模型,该模型涵盖较小的概念领域;例如,用于区分花卉种类或食品类型的模型。

此 API 支持多种来源的自定义图片分类模型,可让您针对特定用例量身定制。如需了解详情,请参阅使用机器学习套件的自定义模型。自定义模型可以与您的应用捆绑在一起,也可以使用 Firebase 机器学习的模型部署服务从云端动态下载。

iOS Android

输入图片预处理

如果需要,对象检测和跟踪会使用双线性图像缩放和拉伸来调整输入图像的大小和宽高比,以满足基础模型的要求。