Обеспечение качества и надежности ваших подсказок имеет решающее значение при внедрении Prompt API.
Чтобы оценить качество ваших подсказок, вам следует разработать полный набор входных данных и ожидаемых выходных данных для вашего варианта использования.
Чтобы оценить, соответствует ли ваша подсказка вашей планке качества для каждой версии модели Gemini Nano, мы рекомендуем следующий рабочий процесс:
- Запустите свой оценочный набор данных и запишите результаты.
- Оцените результаты вручную или воспользуйтесь услугами LLM-a-a-judge .
- Если оценка не соответствует вашим требованиям, доработайте задание. Например, попросите более опытного магистра права, например, Gemini Pro, улучшить задание, сопоставив желаемый результат с фактическим.
Оперативная разработка повышает производительность задач, и итерации по вашим подсказкам играют ключевую роль. Мы рекомендуем как минимум 3–5 итераций на вышеуказанных этапах. Обратите внимание, что этот подход имеет ограничения, поскольку оптимизация со временем приводит к снижению эффективности.
В качестве альтернативы, чтобы быстро улучшить подсказки в масштабе, вы можете использовать оптимизатор на основе данных , который может работать с моделями устройств, такими как gemma-3n-e4b-it .
Безопасность
Чтобы гарантировать, что Gemini Nano возвращает пользователям безопасные результаты, реализовано несколько уровней защиты, ограничивающих получение вредоносных или непреднамеренных результатов:
- Безопасность модели : все модели Gemini, включая Gemini Nano, изначально оснащены системой безопасности. Это означает, что меры безопасности заложены в основу модели, а не добавлены в качестве дополнения.
- Фильтры безопасности на входе и выходе : как запросы на вход, так и результаты, генерируемые средой выполнения Gemini Nano, проверяются на соответствие нашим фильтрам безопасности перед отправкой результатов в приложение. Это помогает предотвратить проникновение небезопасного контента без потери качества.
Однако, поскольку каждое приложение имеет собственные критерии того, какой контент считается безопасным для пользователей, вам следует оценить риски безопасности для конкретного варианта использования вашего приложения и провести соответствующее тестирование.
Дополнительные ресурсы
- Насколько хорош ваш ИИ? Оценка Gen AI на каждом этапе с пояснениями — запись в блоге, описывающая, как использовать сервис оценки Gen AI.
- Обзор сервиса оценки генеративного ИИ — документация, описывающая, как оценивать модели генеративного ИИ для поддержки таких задач, как сравнение моделей, оперативное улучшение и тонкая настройка.
- Запуск конвейера оценки на основе вычислений — документация по оценке производительности модели.