При использовании прямого доступа к модели Gemini Nano важно обеспечить качество и надежность запроса.
Чтобы оценить качество запроса, разработайте комплексный набор входных данных и ожидаемых выходных данных для вашего варианта использования.
Чтобы оценить, соответствует ли ваш запрос планке качества для каждой версии модели Gemini Nano, рекомендуем выполнить следующие действия:
- Запустите набор данных для оценки и запишите результаты.
- Оцените результаты вручную или используйте LLM-as-a-judge.
- Если оценка не соответствует вашим требованиям к качеству, измените запрос. Например, попросите более мощную LLM, такую как Gemini Pro, улучшить запрос на основе желаемого и фактического результатов.
Правильно составленные запросы повышают эффективность выполнения задач, поэтому важно постоянно улучшать их. Рекомендуем повторить описанные выше шаги 3–5 раз. Учтите, что у этого подхода есть ограничения, поскольку оптимизация в конечном итоге приведет к снижению доходности.
Чтобы быстро улучшить запросы в большом масштабе, вы можете использовать оптимизатор на основе данных, который может работать с моделями на устройстве, такими как gemma-3n-e4b-it.
Безопасность
Чтобы Gemini Nano возвращала безопасные результаты, реализовано несколько уровней защиты, ограничивающих вредоносные или непреднамеренные результаты:
- Встроенная безопасность модели. Все модели Gemini, включая Gemini Nano, обучены соблюдать правила безопасности. Это означает, что соображения безопасности заложены в основу модели, а не просто добавлены в качестве дополнения.
- Фильтры безопасности для входных и выходных данных. Перед тем как передать результаты в приложение, среда выполнения Gemini Nano проверяет их и входной запрос с помощью фильтров безопасности. Это помогает предотвратить появление небезопасного контента без потери качества.
Однако у каждого приложения свои критерии безопасного контента, поэтому вам нужно оценить риски для своего приложения и провести тестирование.
Дополнительные ресурсы
- Насколько хорош ваш ИИ? Оценка генеративного ИИ на каждом этапе – запись в блоге, в которой рассказывается, как использовать сервис оценки генеративного ИИ.
- Обзор сервиса оценки генеративного ИИ. Документация, в которой описывается, как оценивать модели генеративного ИИ для поддержки таких задач, как сравнение моделей, улучшение запросов и точная настройка.
- Запуск конвейера оценки на основе вычислений – документация по оценке эффективности модели.