Zapewnienie jakości i niezawodności prompta jest kluczowe, gdy korzystasz z bezpośredniego dostępu do modelu Gemini Nano.
Aby ocenić jakość prompta, musisz opracować kompleksowy zestaw danych wejściowych i oczekiwanych danych wyjściowych dla danego przypadku użycia.
Aby ocenić, czy prompt spełnia Twoje wymagania dotyczące jakości w przypadku każdej wersji modelu Gemini Nano, zalecamy wykonanie tych czynności:
- Uruchom zbiór danych do oceny i zapisz wyniki.
- Oceń wyniki ręcznie lub użyj LLM-as-a-judge.
- Jeśli ocena nie spełnia Twoich standardów jakości, zmodyfikuj prompta. Możesz na przykład poprosić bardziej zaawansowany model LLM, taki jak Gemini Pro, o ulepszenie prompta na podstawie pożądanych i rzeczywistych danych wyjściowych.
Inżynieria promptów zwiększa skuteczność wykonywania zadań, a kluczem jest iteracja promptów. Zalecamy powtórzenie powyższych kroków co najmniej 3–5 razy. Pamiętaj, że to podejście ma swoje ograniczenia, ponieważ optymalizacje będą ostatecznie przynosić coraz mniejsze korzyści.
Możesz też szybko ulepszać prompty na dużą skalę, korzystając z optymalizatora opartego na danych, który może kierować reklamy na modele na urządzeniu, takie jak gemma-3n-e4b-it.
Bezpieczeństwo
Aby zapewnić użytkownikom bezpieczne wyniki, Gemini Nano stosuje kilka warstw ochrony, które ograniczają szkodliwe lub niezamierzone wyniki:
- Bezpieczeństwo modelu natywnego: wszystkie modele Gemini, w tym Gemini Nano, są trenowane tak, aby od razu były bezpieczne. Oznacza to, że kwestie bezpieczeństwa są wbudowane w podstawę modelu, a nie tylko dodane jako refleksja.
- Filtry bezpieczeństwa na wejściu i wyjściu: zarówno prompt wejściowy, jak i wyniki wygenerowane przez środowisko wykonawcze Gemini Nano są oceniane pod kątem naszych filtrów bezpieczeństwa, zanim wyniki zostaną przekazane do aplikacji. Pomaga to zapobiegać przedostawaniu się niebezpiecznych treści bez utraty jakości.
Każda aplikacja ma jednak własne kryteria dotyczące tego, co jest uważane za bezpieczne treści dla użytkowników, dlatego należy ocenić ryzyko związane z bezpieczeństwem w przypadku konkretnego zastosowania aplikacji i odpowiednio je przetestować.
Dodatkowe materiały
- Jak dobra jest Twoja AI? Gen AI evaluation at every stage, explained – post na blogu, który opisuje, jak korzystać z usługi oceny generatywnej AI.
- Omówienie usługi oceny generatywnej AI – dokumentacja opisująca, jak oceniać modele generatywnej AI, aby ułatwić wykonywanie zadań takich jak porównywanie modeli, ulepszanie promptów i dostrajanie.
- Uruchamianie potoku oceny opartej na obliczeniach – dokumentacja dotycząca oceny wydajności modelu.