Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.

Model kustom dengan ML Kit

Secara default, API ML Kit memanfaatkan model machine learning yang dilatih Google. Model ini dirancang untuk mencakup berbagai aplikasi. Namun, beberapa kasus penggunaan memerlukan model yang lebih bertarget. Itulah sebabnya beberapa API ML Kit kini memungkinkan Anda mengganti model default dengan model TensorFlow Lite kustom.

Pelabelan Gambar dan API Deteksi Objek &Pelacakan menawarkan dukungan untuk model klasifikasi gambar kustom. SDK ini kompatibel dengan pilihan model terlatih berkualitas tinggi di TensorFlow Hub atau model kustom Anda sendiri yang dilatih dengan TensorFlow, AutoML Vision Edge, atau TensorFlow Lite Model Maker.

Jika Anda memerlukan solusi kustom untuk domain atau kasus penggunaan lainnya, buka halaman Machine Learning di Perangkat untuk mendapatkan panduan tentang semua solusi dan alat Google untuk machine learning di perangkat.

Manfaat menggunakan ML Kit dengan model kustom

Manfaat menggunakan model klasifikasi gambar kustom dengan ML Kit adalah:

  • API tingkat tinggi yang mudah digunakan - Tidak perlu berurusan dengan input/output model tingkat rendah, menangani pra-/pasca-pemrosesan gambar, atau membuat pipeline pemrosesan.
  • Tidak perlu khawatir tentang pemetaan label sendiri, ML Kit mengekstrak label dari metadata model TFLite dan melakukan pemetaan untuk Anda.
  • Mendukung model kustom dari berbagai sumber, mulai dari model terlatih yang dipublikasikan di TensorFlow Hub hingga model baru yang dilatih dengan TensorFlow, AutoML Vision Edge, atau TensorFlow Lite Model Maker.
  • Mendukung model yang dihosting dengan Firebase. Mengurangi ukuran APK dengan mendownload model on demand. Kirim update model tanpa memublikasikan ulang aplikasi Anda dan lakukan pengujian A/B yang mudah dengan Firebase Remote Config.
  • Dioptimalkan untuk integrasi dengan Camera API Android.

Dan, khusus untuk Deteksi dan Pelacakan Objek:

  • Tingkatkan akurasi klasifikasi dengan menemukan objek terlebih dahulu dan hanya menjalankan pengklasifikasi pada area gambar yang terkait.
  • Berikan pengalaman interaktif real-time dengan memberikan masukan langsung kepada pengguna tentang objek yang terdeteksi dan diklasifikasikan.

Menggunakan model klasifikasi gambar terlatih

Anda dapat menggunakan model TensorFlow Lite terlatih, asalkan model tersebut memenuhi serangkaian kriteria. Melalui TensorFlow Hub, kami menawarkan serangkaian model terverifikasi - dari Google atau kreator model lainnya - yang memenuhi kriteria ini.

Menggunakan model yang dipublikasikan di TensorFlow Hub

TensorFlow Hub menawarkan berbagai model klasifikasi gambar terlatih - dari berbagai pembuat model - yang dapat digunakan dengan Pelabelan Gambar dan Deteksi Objek serta API Pelacakan. Ikuti langkah berikut.

  1. Pilih model dari koleksi model yang kompatibel dengan ML Kit.
  2. Download file model .tflite dari halaman detail model. Jika tersedia, pilih format model dengan metadata.
  3. Ikuti panduan kami untuk Image Labeling API atau Object Detection and Tracking API tentang cara memaketkan file model dengan project Anda dan menggunakannya di aplikasi Android atau iOS.

Melatih model klasifikasi gambar Anda sendiri

Jika tidak ada model klasifikasi gambar terlatih yang sesuai dengan kebutuhan Anda, ada berbagai cara untuk melatih model TensorFlow Lite Anda sendiri, beberapa di antaranya diuraikan dan dibahas secara lebih mendetail di bawah ini.

Opsi untuk melatih model klasifikasi gambar Anda sendiri
AutoML Vision Edge
  • Ditawarkan melalui Google Cloud AI
  • Membuat model klasifikasi gambar yang canggih
  • Evaluasi dengan mudah antara performa dan ukuran
Pembuat Model TensorFlow Lite
  • Melatih kembali model (pemelajaran transfer), membutuhkan waktu lebih sedikit dan memerlukan lebih sedikit data daripada melatih model dari awal
Mengonversi model TensorFlow ke TensorFlow Lite
  • Melatih model dengan TensorFlow lalu mengonversinya ke TensorFlow Lite

AutoML Vision Edge

Model klasifikasi gambar yang dilatih menggunakan AutoML Vision Edge didukung oleh model kustom di Pelabelan Gambar dan Object Detection and Tracking API. API ini juga mendukung download model yang dihosting dengan deployment model Firebase.

Untuk mempelajari lebih lanjut cara menggunakan model yang dilatih dengan AutoML Vision Edge di aplikasi Android dan iOS, ikuti panduan model kustom untuk setiap API, bergantung pada kasus penggunaan Anda.

Pembuat Model TensorFlow Lite

Library TFLite Model Maker menyederhanakan proses penyesuaian dan konversi model jaringan neural TensorFlow ke data input tertentu saat men-deploy model ini untuk aplikasi ML di perangkat. Anda dapat mengikuti klasifikasi Colab untuk Gambar dengan TensorFlow Lite Model Maker.

Untuk mempelajari lebih lanjut cara menggunakan model yang dilatih dengan Model Maker di aplikasi Android dan iOS Anda, ikuti panduan kami untuk Image Labeling API atau Object Detection and Tracking API, bergantung pada kasus penggunaan Anda.

Model yang dibuat menggunakan pengonversi TensorFlow Lite

Jika sudah memiliki model klasifikasi gambar TensorFlow, Anda dapat mengonversinya menggunakan konverter TensorFlow Lite. Pastikan model yang dibuat memenuhi persyaratan kompatibilitas di bawah.

Untuk mempelajari lebih lanjut cara menggunakan model TensorFlow Lite di aplikasi Android dan iOS, ikuti panduan kami untuk Image Labeling API atau Object Detection and Tracking API, bergantung pada kasus penggunaan Anda.

Kompatibilitas model TensorFlow Lite

Anda dapat menggunakan model klasifikasi gambar TensorFlow Lite terlatih, asalkan model tersebut memenuhi persyaratan berikut:

Tensor

  • Model hanya boleh memiliki satu tensor input dengan batasan berikut:
    • Data dalam format piksel RGB.
    • Data berupa jenis UINT8 atau FLOAT32. Jika jenis tensor input adalah FLOAT32, jenis normal harus menentukan NormalizationOptions dengan melampirkan Metadata.
    • Tensor memiliki 4 dimensi : BxHxWxC, dengan:
      • B adalah ukuran tumpukan. Nilainya harus 1 (inferensi pada batch yang lebih besar tidak didukung).
      • W dan H adalah lebar dan tinggi input.
      • C adalah jumlah saluran yang diharapkan. Harus 3.
  • Model harus memiliki minimal satu tensor output dengan class N dan 2 atau 4 dimensi:
    • (1xN)
    • (1x1x1xN)

Metadata

Anda dapat menambahkan metadata ke file TensorFlow Lite seperti yang dijelaskan dalam Menambahkan metadata ke model TensorFlow Lite.

Untuk menggunakan model dengan tensor input FLOAT32, Anda harus menentukan NormalizationOptions dalam metadata.

Sebaiknya Anda juga melampirkan metadata ini ke tensor output TensorMetadata: