Nhờ API theo dõi và theo dõi đối tượng trên thiết bị của Bộ công cụ máy học, bạn có thể phát hiện và theo dõi các đối tượng trong nguồn cấp dữ liệu hình ảnh hoặc máy ảnh trực tiếp.
Nếu muốn, bạn có thể phân loại các đối tượng được phát hiện bằng cách sử dụng thuật toán phân loại thô được tích hợp sẵn trong API, hoặc sử dụng mô hình phân loại hình ảnh tuỳ chỉnh của riêng bạn. Xem bài viết Sử dụng mô hình TensorFlow Lite tùy chỉnh để biết thêm thông tin.
Vì tính năng phát hiện và theo dõi đối tượng hoạt động trên thiết bị, nên nó hoạt động hiệu quả như giao diện người dùng của quy trình tìm kiếm hình ảnh. Sau khi phát hiện và lọc đối tượng, bạn có thể chuyển các đối tượng đó đến phần phụ trợ trên đám mây, chẳng hạn như Cloud Vision Product Search.
Các chức năng chính
- Phát hiện và theo dõi đối tượng nhanh chóng Phát hiện đối tượng và lấy thông tin vị trí của chúng trong hình ảnh. Theo dõi các đối tượng trên các khung hình liên tiếp.
- Mô hình trên thiết bị được tối ưu hoá Mô hình theo dõi và phát hiện đối tượng được tối ưu hoá cho thiết bị di động và nhằm mục đích sử dụng trong các ứng dụng theo thời gian thực, ngay cả trên các thiết bị cấp thấp.
- Phát hiện đối tượng nổi bật Tự động xác định đối tượng nổi bật nhất trong hình ảnh.
- Phân loại thô Phân loại đối tượng thành các danh mục rộng mà bạn có thể sử dụng để lọc ra các đối tượng mà bạn không quan tâm. Các danh mục được hỗ trợ như sau: đồ gia dụng, hàng thời trang, thực phẩm, thực vật và địa điểm.
- Phân loại bằng mô hình tuỳ chỉnh Sử dụng mô hình phân loại hình ảnh tuỳ chỉnh của riêng bạn để xác định hoặc lọc các danh mục đối tượng cụ thể. Làm cho mô hình tuỳ chỉnh của bạn hoạt động tốt hơn bằng cách bỏ qua nền của hình ảnh.
Kết quả mẫu
Theo dõi đối tượng nổi bật nhất trên các hình ảnh
Ví dụ bên dưới cho thấy dữ liệu theo dõi từ ba khung liên tiếp với thuật toán phân loại thô mặc định do Bộ công cụ máy học cung cấp.
 |
|
||||||||
 |
|
||||||||
 |
|
Ảnh: Christian Ferrer [CC BY-SA 4.0]
Nhiều đối tượng trong một hình ảnh tĩnh
Ví dụ bên dưới cho thấy dữ liệu của 4 đối tượng được phát hiện trong hình ảnh bằng bộ phân loại thô mặc định do Bộ công cụ máy học cung cấp.
| Đối tượng 0 | |
|---|---|
| Giới hạn | (1, 97), (332, 97), (332, 332), (1, 332) |
| Category (Danh mục) | THỜI TRANG |
| Phân loại độ tin cậy | 0,95703125 |
| Đối tượng 1 | |
| Giới hạn | (186, 80), (337, 80), (337, 226), (186, 226) |
| Category (Danh mục) | THỜI TRANG |
| Phân loại độ tin cậy | 0,84375 |
| Đối tượng 2 | |
| Giới hạn | (296, 80), (472, 80), (472, 388), (296, 388) |
| Category (Danh mục) | THỜI TRANG |
| Phân loại độ tin cậy | 0,94921875 |
| Đối tượng 3 | |
| Giới hạn | (439, 83), (615, 83), (615, 306), (439, 306) |
| Category (Danh mục) | THỜI TRANG |
| Phân loại độ tin cậy | 0,9375 |
Sử dụng mô hình TensorFlow Lite tuỳ chỉnh
Thuật toán phân loại thô mặc định được xây dựng cho 5 danh mục, cung cấp thông tin hạn chế về các đối tượng được phát hiện. Bạn có thể cần một mô hình thuật toán phân loại chuyên sâu hơn bao gồm một phạm vi khái niệm hẹp hơn chi tiết hơn; ví dụ: một mô hình để phân biệt giữa các loài hoa hoặc các loại thức ăn.
API này cho phép bạn điều chỉnh cho phù hợp với một trường hợp sử dụng cụ thể bằng cách hỗ trợ các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Vui lòng tham khảo Các mô hình tuỳ chỉnh có Bộ công cụ máy học để tìm hiểu thêm. Bạn có thể kết hợp các mô hình tuỳ chỉnh với ứng dụng hoặc tự động tải xuống từ đám mây bằng cách sử dụng dịch vụ triển khai Mô hình máy học của Firebase.
Nhập trước xử lý hình ảnh
Nếu cần, tính năng phát hiện và theo dõi đối tượng sẽ sử dụng tính năng kéo giãn và điều chỉnh tỷ lệ hình ảnh song tuyến tính để điều chỉnh kích thước và tỷ lệ khung hình của hình ảnh đầu vào sao cho phù hợp với các yêu cầu của mô hình cơ sở.