Benutzerdefinierte Anfragen mit direktem Modellzugriff auf Gemini Nano senden

Mit dem direkten Modellzugriff von ML Kit (com.google.mlkit:genai-prompt) können Sie über die Klasse GenerativeModel benutzerdefinierte Anfragen in natürlicher Sprache auf dem Gerät an das Foundation Model Gemini Nano senden. Der direkte Modellzugriff akzeptiert Text- oder multimodale Eingaben (Bild und Text), unterstützt clientverwaltete Multi-Turn-Unterhaltungen (List<Content> mit den Rollen USER und MODEL sowie sessionId) und gibt Text oder typisierte strukturierte Ausgaben aus.

Sie können den direkten Modellzugriff für eine Vielzahl von Anwendungsfällen verwenden, darunter:

Anwendungsbeispiel

Beispiel

Bilder verstehen

Fotos werden analysiert, um sie zu klassifizieren, z. B. „Haustiere“, „Essen“ oder „Reisen“.

Kurze Übersetzungen

Übersetzung von Kurznachrichten zwischen einem Lieferfahrer und einem Kunden.

Geführte Zusammenfassung

Zusammenfassen von Rezensionen eines Restaurants basierend auf dem spezifischen Interesse eines Nutzers.

Entitätsextraktion

Wichtige Details zu einem anstehenden Termin aus einer E‑Mail-Konversation extrahieren

Inspiration für die Erstellung von Inhalten

Vorschläge für Prompts für einen Tagebucheintrag.

Intelligentes Scannen von Dokumenten

Artikel aus einem Belegbild extrahieren und kategorisieren.

Textklassifizierung

Kundenrezensionen in die Kategorien „positiv“, „neutral“ oder „negativ“ einteilen

Direkter Modellzugriff im Vergleich zu aufgabenspezifischen APIs

Neben dem direkten Zugriff auf das Gemini Nano-Foundation Model für benutzerdefinierte Prompts bietet ML Kit vorkonfigurierte APIs für dedizierte Sprach-, Bild- und Textaufgaben: Spracherkennung, Bildbeschreibung, Zusammenfassung, Korrekturlesen, Umschreiben und mehr. Die Text- und Bildaufgaben-APIs verwenden aufgabenspezifische Featuretypen und optimierte LoRA-Adapter zusätzlich zum gemeinsam genutzten Basismodell. In der folgenden Tabelle sind die Vorteile der einzelnen Ansätze aufgeführt:

Kaufbereitschaft

Direkter Modellzugriff (GenerativeModel)

Task APIs für Text und Bild

Integrationsaufwand

Hoch.

Erfordert aufgrund von Prompt Engineering und Qualitätssicherung mehr Aufwand bei der Implementierung.

und wenig Stress

Erfordert weniger Aufwand, da diese APIs aufgabenspezifische Featuretypen und feinabgestimmte LoRA-Adapter zusätzlich zum Basismodell verwenden. Sie müssen nicht direkt mit dem LLM arbeiten.

Flexibilität

Mehr Flexibilität, da Sie Prompts individuell anpassen, Multi-Turn-Kontexte verwalten, typisierte strukturierte Schemas erzwingen oder übergeordnete agentische Workflows (AgentRunner) auf GenerativeModel aufbauen können.

Weniger Flexibilität. Jede aufgabenspezifische API hat eine feste LoRA-Feinabstimmung und einen integrierten Prompt mit den folgenden Merkmalen:

  • Die Bildbeschreibung ist allgemein und kurz.
  • Zusammenfassungen dürfen nur 1–3 Aufzählungspunkte enthalten.
  • Beim Umschreiben werden nur vordefinierte Stile unterstützt.

Als allgemeine Regel gilt: Verwenden Sie den direkten Modellzugriff, wenn Sie mehr Anpassungsmöglichkeiten und Flexibilität benötigen, und die aufgabenspezifischen APIs für Standardaufgaben, die keine benutzerdefinierte Logik erfordern.

Beispielcode