Memastikan kualitas dan keandalan perintah Anda sangat penting saat menggunakan akses model langsung dengan Gemini Nano.
Untuk mengevaluasi kualitas perintah, Anda harus mengembangkan serangkaian input dan output yang diharapkan yang komprehensif untuk kasus penggunaan Anda.
Untuk menilai apakah perintah Anda memenuhi standar kualitas dengan setiap versi model Gemini Nano, sebaiknya ikuti alur kerja berikut:
- Jalankan set data evaluasi Anda dan catat outputnya.
- Evaluasi hasilnya secara manual atau gunakan
LLM-as-a-judge.
- Jika evaluasi tidak memenuhi standar kualitas Anda, lakukan iterasi pada perintah Anda. Misalnya, minta LLM yang lebih canggih seperti Gemini Pro untuk meningkatkan kualitas perintah berdasarkan output yang diinginkan versus output yang sebenarnya.
Rekayasa perintah meningkatkan performa tugas, dan mengiterasi perintah Anda adalah kuncinya. Sebaiknya lakukan minimal 3-5 iterasi pada langkah-langkah di atas. Perhatikan bahwa pendekatan ini memiliki batasan, karena pengoptimalan pada akhirnya akan memberikan hasil yang semakin berkurang.
Atau, untuk meningkatkan kualitas perintah dengan cepat dalam skala besar, Anda dapat menggunakan
pengoptimal berbasis data, yang dapat menargetkan model di perangkat seperti
gemma-3n-e4b-it.
Keamanan
Untuk memastikan Gemini Nano menampilkan hasil yang aman bagi pengguna, beberapa lapisan perlindungan diterapkan untuk membatasi hasil yang berbahaya atau tidak diinginkan:
- Keamanan model native: Semua model Gemini, termasuk Gemini Nano, dilatih untuk mengutamakan keamanan sejak awal. Artinya, pertimbangan keamanan dibangun ke dalam inti model, bukan sekadar ditambahkan sebagai pertimbangan tambahan.
- Filter keamanan pada input dan output: Perintah input dan hasil yang dihasilkan oleh runtime Gemini Nano dievaluasi berdasarkan filter keamanan kami sebelum memberikan hasil ke aplikasi. Hal ini membantu mencegah konten yang tidak aman lolos, tanpa mengurangi kualitas.
Namun, karena setiap aplikasi memiliki kriteria sendiri terkait konten yang dianggap aman bagi pengguna, Anda harus menilai risiko keamanan untuk kasus penggunaan spesifik aplikasi Anda dan mengujinya.
Referensi lainnya
- Seberapa bagus AI Anda? Penjelasan evaluasi AI generatif di setiap tahap - Postingan blog yang menjelaskan cara menggunakan layanan evaluasi AI generatif.
- Ringkasan layanan evaluasi AI generatif - Dokumentasi yang menjelaskan cara menilai model AI generatif untuk mendukung tugas seperti perbandingan model, peningkatan perintah, dan fine-tuning.
- Menjalankan pipeline evaluasi berbasis komputasi - Dokumentasi tentang cara mengevaluasi performa model.