Gemini Nano ile temsilci tabanlı iş akışları oluşturma

ML Kiti'nin ajan tabanlı iş akışları (com.google.mlkit:genai-agent, alfa) Gemini Nano ve Android AICore sistem hizmeti tarafından desteklenen, cihaz üzerinde otonom ve çok aşamalı etkileşimli yapay zeka destekli kampanya oluşturma deneyimi oluşturmanıza olanak tanır.

GenerativeModel sınıfını (doğrudan model erişimi) temel alan AgentRunner sınıfı, doğrudan uygulamanızda eksiksiz ve hedefe dayalı aracı döngülerini otomatikleştirir: bağlamı gözlemler, kullanıcı girişleri üzerinde akıl yürütür, türü belirtilmiş Kotlin araçları aracılığıyla işlem yapar ve bir sonlandırma koşulu karşılanana kadar geri bildirimleri değerlendirir.

Yaygın temsilci kalıpları

Cihaz üzerinde çalışan temsilci tabanlı iş akışları, kullanıcı niyetinin yapılandırılmış uygulama işlemlerine dönüştürüldüğü odaklanmış, deterministik akıl yürütme döngüleri için optimize edilmiştir. Yaygın kalıplar şunlardır:

Desen

Örnek

Uygulama içi işlem yürütme ve kısayollar

Doğal dildeki istekleri belirli uygulama komutlarına çevirme (ör. düzenleme tuvalinde fotoğraf ayarlamaları uygulama, oynatma ayarlarını değiştirme veya uygulama tercihlerini açıp kapatma)

Yapılandırılmış arama ve yerel hesaplama

Kimliğe göre belirli bir kaydı (ör. sipariş durumu veya hesap bakiyesi) getirme ve çok adımlı matematiksel hesaplamalar (ör. kredi amortismanları veya fitness metrikleri) yapma

Sohbete dayalı filtreleme ve seçme

Yerel uygulama öğelerini etkileşimli olarak sorgulama ve hassaslaştırma (ör. yerel görev listesinde arama yapma, oynatma listesini filtreleme veya katalog öğelerini kullanıcı ölçütlerine göre sıralama).

Çok adımlı rehberli giriş

Kullanıcılara yapılandırılmış veri girişi konusunda adım adım rehberlik etme, son gönderimden önce ara girişleri yerel araçlarla doğrulama.

Cihaz üzerinde performans ve gizlilik

Temsilci tabanlı iş akışları, doğrudan kullanıcının cihazında gizli ve duyarlı yürütme sağlamak için Android AICore'da çalışır:

  • Yerel akıl yürütme ve istem gizliliği: Modelin akıl yürütme ve planlama döngüsü, sıfır ağ gecikmesiyle tamamen cihaz üzerinde çalışır. Kullanıcı istemi verileri cihazda gizli kalır. Ancak kullanım alanınız harici veri gerektiriyorsa uygulamanızda uygulanan bağımsız araçlar ağ çağrıları yapabilir veya bulut API'lerini sorgulayabilir.
  • Yönetilen çok aşamalı oturumlar: AgentSession arayüzü, bellek içi sohbet geçmişini aşamalar arasında korur. Böylece transkriptleri manuel olarak yönetmeniz gerekmez. session.close(), deleteSession(sessionId) veya clearAllSessions() yöntemlerini kullanarak istediğiniz zaman belleği geri alabilirsiniz.
  • Yürütme önlemleri: Temsilci yapılandırmaları, kaçak yürütme döngülerini önlemek, pil tasarrufu yapmak ve cihazın yanıt verme hızını korumak için kaynak sonlandırma koşulu olarak maksimum sıra sınırını (varsayılan olarak 10 olan maxTurns sınırı) zorunlu kılar.

Özel üretim, temsilciler ve göreve özel API'ler arasından seçim yapma

ML Kit, cihaz üzerinde üretken yapay zeka özelliklerini, özelliğinizin ne kadar özelleştirme ve düzenlemeye ihtiyaç duyduğuna göre düzenler:

  • Özel içerik üretme ve temsilciler: Özelliğiniz özel talimatlar veya alana özgü mantık gerektirdiğinde doğrudan Gemini Nano temel modeli ile çalışın. Yönetilen çok turlu oturumlar ve otomatik araç çağırma döngüleri istediğinizde aracı iş akışlarını (GenerativeModel sınıfının üzerine inşa edilen AgentRunner sınıfını kullanarak) seçin. Özel istem, yazılı yapılandırılmış çıkış veya istemci tarafından yönetilen çok turlu geçmiş için doğrudan model erişimini (GenerativeModel sınıfını kullanarak) seçin.
  • Konuşma ve ses: Seslendirilmiş içeriği metne dönüştürmek için özel konuşma ve üretken yapay zeka modellerini (ör. Konuşma tanıma) kullanın.
  • Metin ve resim görevleri: Paylaşılan temel model üzerinde önceden yapılandırılmış, göreve özel özellik türlerini ve ince ayarlı LoRA bağdaştırıcılarını (ör. Resim açıklaması, Özetleme, Düzeltme ve Yeniden yazma) kullanarak istem mühendisliği olmadan kullanıma hazır görüntü ve yazma kullanım alanlarından yararlanın.

Aşağıdaki tabloda bu yaklaşımların karşılaştırması yer almaktadır:

Üzerinde düşünme

Temsilci tabanlı iş akışları (AgentRunner)

Doğrudan model erişimi (GenerativeModel)

Metin ve resim görevi API'leri

Mimari

GenerativeModel üzerine inşa edilmiş üst düzey düzenleme katmanı.

Özel istemler için Gemini Nano temel modeline doğrudan arayüz.

Paylaşılan temel model üzerinde hassas ayarlanmış LoRA bağdaştırıcıları tarafından desteklenen, göreve özgü özellik türleri.

Çok aşamalı bağlam

Yönetilen çok turlu oturumlar (AgentSession). Sohbet geçmişini turlar arasında otomatik olarak bellekte tutar. Böylece transkriptleri manuel olarak yönetmeniz gerekmez (geçici tek turlu yürütmeyi de destekler).

İstemci tarafından yönetilen çok aşamalı etkileşim bağlamı. GenerateContentRequest, kendi sohbet geçmişlerini doğrudan yönetmek isteyen geliştiriciler için çok turlu sohbeti List<Content> (USER ve MODEL rolleri) ve sessionId özelliğini destekler.

Durumsuz, tek girişli görev çağrıları.

Araç çağırma ve işlemler

Otomatik araç çağırma döngüsü. Kayıtlı Android AppFunctions'ı keşfeder, model tarafından seçilen çağrıları yürütür ve sonuçları otomatik olarak modele geri gönderir.

Müşteri tarafından yönetilen araç beyanları. GenerateContentRequest, araç şemalarını kabul eder ve uygulamanızın manuel olarak yürütüp döndürmesi için işlev çağrısı istekleri gönderir.

Geçerli değil (sabit görev ardışık düzeni).

Ne zaman kullanılır?

Çok adımlı araç yürütme ve yönetilen bellek içi çok turlu oturumlar için otomatik düzenleme istediğinizde kullanın.

Özel istemler, çok formatlı görüntü anlama, yazılı yapılandırılmış çıkış (@Generable) için veya kendi sohbet geçmişinizi ya da araç gönderiminizi doğrudan yönetmek istediğinizde kullanın.

Özelliğiniz standart bir yazma veya görüntü işleme göreviyle eşleştiğinde ve minimum kurulumla hassas ayarlanmış LoRA'lardan hazır kalite elde etmek istediğinizde kullanın.

Sonraki adımlar