Zapewnienie jakości i niezawodności promptu ma kluczowe znaczenie podczas wdrażania interfejsu Prompt API.
Aby ocenić jakość prompta, opracuj kompleksowy zestaw danych wejściowych i oczekiwanych danych wyjściowych dla swojego przypadku użycia.
Aby sprawdzić, czy prompt spełnia Twoje wymagania jakościowe w przypadku każdej wersji modelu Gemini Nano, zalecamy wykonanie tych czynności:
- Uruchom zbiór danych do oceny i zapisz wyniki.
- Oceń wyniki ręcznie lub użyj LLM-as-a-judge.
- Jeśli wynik oceny nie spełnia Twoich oczekiwań, zmodyfikuj prompt. Możesz na przykład poprosić bardziej zaawansowany model LLM, taki jak Gemini Pro, o ulepszenie prompta na podstawie pożądanych i rzeczywistych danych wyjściowych.
Inżynieria promptów zwiększa skuteczność wykonywania zadań, a kluczem jest iteracyjne ulepszanie promptów. Zalecamy wykonanie co najmniej 3–5 iteracji powyższych kroków. Pamiętaj, że to podejście ma swoje ograniczenia, ponieważ optymalizacje z czasem przynoszą coraz mniejsze korzyści.
Aby szybko ulepszać prompty na dużą skalę, możesz też użyć optymalizatora opartego na danych, który może kierować reklamy na modele na urządzeniach, takie jak gemma-3n-e4b-it.
Bezpieczeństwo
Aby zapewnić użytkownikom bezpieczne wyniki, Gemini Nano ma kilka warstw ochrony, które ograniczają szkodliwe lub niepożądane wyniki:
- Wbudowane zabezpieczenia modelu: wszystkie modele Gemini, w tym Gemini Nano, są trenowane tak, aby od samego początku uwzględniać bezpieczeństwo. Oznacza to, że kwestie bezpieczeństwa są wbudowane w samą strukturę modelu, a nie dodawane na końcu.
- Filtry bezpieczeństwa danych wejściowych i wyjściowych: zarówno prompt wejściowy, jak i wyniki wygenerowane przez środowisko wykonawcze Gemini Nano są oceniane pod kątem naszych filtrów bezpieczeństwa przed przekazaniem wyników do aplikacji. Pomaga to zapobiegać przedostawaniu się niebezpiecznych treści bez utraty jakości.
Każda aplikacja ma jednak własne kryteria dotyczące tego, co jest uważane za bezpieczne treści dla użytkowników. Dlatego musisz ocenić zagrożenia dla bezpieczeństwa w przypadku konkretnego zastosowania aplikacji i przeprowadzić odpowiednie testy.
Dodatkowe materiały
- Jak dobra jest Twoja AI? Ocena generatywnej AI na każdym etapie, wyjaśnienie – post na blogu opisujący, jak korzystać z usługi oceny generatywnej AI.
- Omówienie usługi oceny generatywnej AI – dokumentacja, która opisuje, jak oceniać modele generatywnej AI, aby wspierać zadania takie jak porównywanie modeli, ulepszanie promptów i dostrajanie.
- Uruchamianie potoku oceny opartej na obliczeniach – dokumentacja dotycząca oceny skuteczności modelu.