利用机器学习套件的设备端对象检测和跟踪 API，您可以检测和跟踪图片或实时相机画面中的对象。
或者，您可以使用 API 内置的粗略分类器或使用您自己的自定义图片分类模型，对检测到的对象进行分类。如需了解详情，请参阅使用自定义 TensorFlow Lite 模型。
由于对象检测和跟踪是在设备上进行的，因此它非常适合可视化搜索流水线的前端。检测并过滤对象后，您可以将其传递给云后端，例如 Cloud Vision Product Search。
主要功能
- 快速对象检测和跟踪 检测对象并获取其在图片中的位置。可以跨连续的图像帧跟踪对象。
- 优化的设备端模型 对象检测和跟踪模型已针对移动设备进行了优化，旨在用于实时应用，甚至是在低端设备上使用。
- 突出对象检测 自动确定图片中最突出的对象。
- 粗略分类：将对象分为广泛类别，可以用于过滤掉您不感兴趣的对象。支持以下类别：家居用品、时尚商品、食品、植物和地点。
- 使用自定义模型进行分类：使用您自己的自定义图片分类模型来识别或过滤特定对象类别。省略图片背景可改善自定义模型的效果。
示例结果
跨图片跟踪最突出的对象
以下示例显示了使用机器学习套件提供的默认粗分类器的三个连续帧的跟踪数据。
 |
|
||||||||
 |
|
||||||||
 |
|
照片：Christian Ferrer [CC BY-SA 4.0]
静态图片中的多个对象
以下示例显示了使用机器学习套件提供的默认粗分类器在图片中检测到的四个对象的数据。
| 对象 0 | |
|---|---|
| 边界 | (1, 97)、(332, 97)、(332, 332)、(1, 332) |
| 类别 | 时尚 |
| 分类置信度 | 0.95703125 |
| Object 1 | |
| 边界 | (186, 80)、(337, 80)、(337, 226)、(186, 226) |
| 类别 | 时尚 |
| 分类置信度 | 0.84375 |
| Object 2 | |
| 边界 | (296, 80)、(472, 80)、(472, 388)、(296, 388) |
| 类别 | 时尚 |
| 分类置信度 | 0.94921875 |
| Object 3 | |
| 边界 | (439, 83)、(615, 83)、(615, 306)、(439, 306) |
| 类别 | 时尚 |
| 分类置信度 | 0.9375 |
使用自定义 TensorFlow Lite 模型
默认粗分类器基于 5 个类别而构建，提供有关所检测到的对象的有限信息。您可能需要更为具体的分类器模型，涵盖更详细的概念范围；例如，用于区分花卉种类或食品类型的模型。
此 API 支持来自各种来源的自定义图片分类模型，可让您针对特定使用场景进行定制。如需了解详情，请参阅使用机器学习套件的自定义模型。自定义模型可以与您的应用捆绑在一起，也可以使用 Firebase Machine Learning 的模型部署服务从云端动态下载。
输入图片预处理
如果需要，对象检测和跟踪会使用双线性图像缩放和拉伸来调整输入图像的大小和宽高比，以便它们符合底层模型的要求。