Với API gắn nhãn hình ảnh của Bộ công cụ máy học, bạn có thể phát hiện và trích xuất thông tin về các thực thể trong hình ảnh dựa trên một nhóm nhiều danh mục. Mô hình gắn nhãn hình ảnh mặc định có thể xác định các đối tượng, địa điểm, hoạt động, loài động vật, sản phẩm chung, v.v.
Bạn cũng có thể sử dụng mô hình phân loại hình ảnh tuỳ chỉnh để điều chỉnh tính năng phát hiện theo một trường hợp sử dụng cụ thể. Xem bài viết Sử dụng mô hình TensorFlow Lite tùy chỉnh để biết thêm thông tin.
Các chức năng chính
- Hệ thống phân loại cơ sở đa năng mạnh mẽ Nhận diện hơn 400 danh mục mô tả các đối tượng thường gặp nhất trong ảnh.
- Điều chỉnh theo trường hợp sử dụng của bạn với các mô hình tuỳ chỉnh Sử dụng các mô hình đã huấn luyện trước khác trong TensorFlow Hub hoặc mô hình tuỳ chỉnh của riêng bạn được đào tạo bằng TensorFlow, AutoML Vision Edge hoặc TensorFlow Lite maker.
- API cấp cao dễ sử dụng Không cần xử lý dữ liệu đầu vào/đầu ra của mô hình cấp thấp, xử lý trước và sau khi xử lý hình ảnh hoặc xây dựng một quy trình xử lý. Bộ công cụ máy học trích xuất nhãn từ mô hình TensorFlow Lite và cung cấp các nhãn này dưới dạng nội dung mô tả.
Xin lưu ý rằng API này dành cho các mô hình phân loại hình ảnh mô tả toàn bộ hình ảnh. Để phân loại một hoặc nhiều đối tượng trong một hình ảnh, chẳng hạn như giày hoặc mảnh đồ nội thất, API Phát hiện và theo dõi đối tượng API có thể phù hợp hơn.
Các mô hình phân loại hình ảnh được hỗ trợ
API Gắn nhãn hình ảnh hỗ trợ các mô hình phân loại hình ảnh khác nhau:
| Các mô hình phân loại hình ảnh được hỗ trợ | |
|---|---|
| Mô hình cơ sở | Theo mặc định, API sử dụng một mô hình gắn nhãn hình ảnh đa năng mạnh mẽ để nhận dạng hơn 400 thực thể có chứa các khái niệm phổ biến nhất trong ảnh. |
| Mô hình TensorFlow Lite tuỳ chỉnh | Để nhắm đến các khái niệm dành riêng cho ứng dụng, API chấp nhận các mô hình phân loại hình ảnh tuỳ chỉnh qua nhiều nguồn. Đó có thể là các mô hình đã huấn luyện trước được tải xuống từ TensorFlow Hub hoặc các mô hình của riêng bạn được đào tạo bằng AutoML Vision Edge, chính Trình tạo mô hình TensorFlow Lite hoặc TensorFlow. Bạn có thể kết hợp các mô hình với ứng dụng của mình hoặc lưu trữ bằng công nghệ Máy học của Firebase và tải xuống ứng dụng trong thời gian chạy. |
Sử dụng mô hình cơ sở
Mô hình cơ sở của Bộ công cụ máy học trả về danh sách các thực thể xác định con người, sự vật, địa điểm, hoạt động, v.v. Mỗi thực thể đi kèm với một điểm số cho biết mức độ tin cậy của mô hình máy học. Với thông tin này, bạn có thể thực hiện các nhiệm vụ như tạo siêu dữ liệu tự động và kiểm duyệt nội dung. Mô hình mặc định được cung cấp cùng với Bộ công cụ máy học nhận ra hơn 400 thực thể khác nhau.
Ví dụ về nhãn
Mô hình cơ sở trong API gắn nhãn hình ảnh hỗ trợ hơn 400 nhãn, chẳng hạn như các ví dụ sau:
| Category (Danh mục) | Ví dụ về nhãn |
|---|---|
| People (Mọi người) | CrowdSelfieSmile |
| Hoạt động | DancingEatingSurfing |
| Sự vật | CarPianoReceipt |
| Động vật | BirdCatDog |
| Thực vật | FlowerFruitVegetable |
| Địa điểm | BeachLakeMountain |
Kết quả mẫu
Dưới đây là ví dụ về các đối tượng được nhận dạng trong ảnh đi kèm.
| Nhãn 0 | |
|---|---|
| Văn bản | Sân vận động |
| Mức độ tin cậy | 0,9205354 |
| Nhãn 1 | |
| Văn bản | Thể thao |
| Mức độ tin cậy | 0,7531109 |
| Nhãn 2 | |
| Văn bản | Event (Sự kiện) |
| Mức độ tin cậy | 0,66905296 |
| Nhãn 3 | |
| Văn bản | Giải trí |
| Mức độ tin cậy | 0,59904146 |
| Nhãn 4 | |
| Văn bản | Bóng đá |
| Mức độ tin cậy | 0,56384534 |
| Nhãn 5 | |
| Văn bản | Thực |
| Mức độ tin cậy | 0,54679185 |
| Nhãn 6 | |
| Văn bản | Cây-xanh |
| Mức độ tin cậy | 0,524364 |
Sử dụng mô hình TensorFlow Lite tuỳ chỉnh
Mô hình gắn nhãn hình ảnh cơ sở của Bộ công cụ máy học được xây dựng cho mục đích chung. Hệ thống sẽ huấn luyện để nhận dạng 400 danh mục mô tả các đối tượng phổ biến nhất trong ảnh. Ứng dụng của bạn có thể cần một mô hình phân loại hình ảnh chuyên biệt để nhận dạng số lượng danh mục hẹp hơn, chẳng hạn như mô hình phân biệt giữa các loài hoa hoặc các loại thức ăn.
API này cho phép bạn điều chỉnh cho phù hợp với một trường hợp sử dụng cụ thể bằng cách hỗ trợ các mô hình phân loại hình ảnh tuỳ chỉnh từ nhiều nguồn. Vui lòng xem Các mô hình tuỳ chỉnh có Bộ công cụ máy học để tìm hiểu thêm. Bạn có thể kết hợp các mô hình tuỳ chỉnh với ứng dụng hoặc tự động tải xuống từ đám mây bằng cách sử dụng dịch vụ triển khai Mô hình máy học của Firebase.
Nhập trước xử lý hình ảnh
Nếu cần, tính năng Gắn nhãn hình ảnh sẽ sử dụng tính năng điều chỉnh tỷ lệ và kéo giãn hình ảnh song tuyến tính để điều chỉnh kích thước hình ảnh đầu vào và tỷ lệ khung hình cho phù hợp với các yêu cầu của mô hình cơ bản.