Gemini Nano ile doğrudan model erişimini kullanırken isteminizin kalitesini ve güvenilirliğini sağlamak çok önemlidir.
İstem kalitenizi değerlendirmek için kullanım alanınıza yönelik kapsamlı bir giriş ve beklenen çıkış grubu oluşturmanız gerekir.
İsteminizin her Gemini Nano model sürümünde kalite eşiğinizi karşılayıp karşılamadığını değerlendirmek için aşağıdaki iş akışını kullanmanızı öneririz:
- Değerlendirme veri kümenizi çalıştırın ve çıkışları kaydedin.
- Sonuçları manuel olarak değerlendirin veya LLM-as-a-judge'yi kullanın.
- Değerlendirme, kalite eşiğinizi karşılamıyorsa isteminizi tekrarlayın. Örneğin, Gemini Pro gibi daha güçlü bir LLM'den, istenen çıkış ile gerçek çıkış arasındaki farka göre istemi iyileştirmesini isteyin.
İstem mühendisliği, görev performansını artırır ve istemlerinizi yinelemek önemlidir. Yukarıdaki adımları en az 3-5 kez tekrarlamanızı öneririz. Optimizasyonlar zamanla azalan getiriler sağlayacağından bu yaklaşımın sınırlı olduğunu unutmayın.
Alternatif olarak, istemleri geniş ölçekte hızlı bir şekilde iyileştirmek için veriye dayalı optimize ediciyi kullanabilirsiniz. Bu araç, gemma-3n-e4b-it gibi cihaz üzerinde çalışan modelleri hedefleyebilir.
Güvenlik
Gemini Nano'nun kullanıcılara güvenli sonuçlar döndürmesini sağlamak için zararlı veya istenmeyen sonuçları sınırlayan birden fazla koruma katmanı uygulanır:
- Yerel model güvenliği: Gemini Nano da dahil olmak üzere tüm Gemini modelleri, güvenlik konusunda bilinçli olacak şekilde eğitilmiştir. Bu, güvenlik hususlarının modelin özüne dahil edildiği, sonradan eklenmediği anlamına gelir.
- Giriş ve çıkışta güvenlik filtreleri: Hem giriş istemi hem de Gemini Nano çalışma zamanı tarafından oluşturulan sonuçlar, sonuçlar uygulamaya sağlanmadan önce güvenlik filtrelerimize göre değerlendirilir. Bu sayede, kaliteden ödün vermeden güvenli olmayan içeriklerin sızması önlenir.
Ancak her uygulamanın kullanıcılar için güvenli içerik olarak kabul edilen kriterleri farklı olduğundan, uygulamanızın özel kullanım alanına yönelik güvenlik risklerini değerlendirmeniz ve buna göre test yapmanız gerekir.
Ek kaynaklar
- Yapay zekanız ne kadar iyi? Gen AI evaluation at every stage, explained: Üretken yapay zeka değerlendirme hizmetinin nasıl kullanılacağını açıklayan bir blog yayını.
- Üretken yapay zeka değerlendirme hizmetine genel bakış: Model karşılaştırmaları, istem iyileştirme ve ince ayar gibi görevleri desteklemek için üretken yapay zeka modellerinin nasıl değerlendirileceğini açıklayan belgeler.
- Hesaplamaya dayalı bir değerlendirme ardışık düzeni çalıştırma: Model performansının nasıl değerlendirileceğini açıklayan dokümanlar.