GenAI API в ML Kit используют возможности Gemini Nano, чтобы помогать вашим приложениям выполнять задачи. Эти API обеспечивают высокое качество для популярных сценариев использования благодаря высокоуровневому интерфейсу. API генеративного ИИ в ML Kit созданы на основе AICore – системного сервиса Android, который позволяет выполнять базовые модели генеративного ИИ на устройстве. Это помогает улучшить функциональность приложений и повысить конфиденциальность пользователей за счет локальной обработки данных.
На использование GenAI API распространяются Дополнительные условия использования GenAI API ML Kit. Разработчики несут единоличную ответственность за безопасность клиентского приложения API и удобство использования приложения.
Основные функции
API GenAI в ML Kit поддерживают следующие функции:
- Обобщение. Обобщайте статьи или чаты в виде маркированного списка.
- Корректура. Улучшает короткие тексты, исправляя грамматические и орфографические ошибки.
- Переписывание – переписывайте короткие сообщения в разных стилях.
- Описание изображения. Создание краткого описания изображения.
- Распознавание речи – преобразование аудиоконтента в текст.
- Запрос. Создание текстового контента на основе текстового или мультимодального запроса.
Преимущества API генеративного ИИ
Как и другие функции ML Kit, API GenAI работают полностью на устройстве, поэтому обладают следующими преимуществами:
- Входные данные, выводы и выходные данные обрабатываются локально.
- Функциональность не зависит от подключения к интернету.
- За каждый вызов API не взимается дополнительная плата за сервер.
Кроме того, поскольку API GenAI созданы на основе AICore и работают на базе Gemini Nano, каждое приложение может использовать общую модель Gemini Nano, которая находится на устройстве. Это позволяет избежать необходимости ждать, пока модель будет скачана, если она уже есть на устройстве, и экономит место в хранилище. Подробнее о том, как AICore изолирует запросы для защиты конфиденциальности…
Потоковая передача и другие способы просмотра
API GenAI из ML Kit поддерживают как потоковую, так и непотоковую передачу результатов. Потоковый API отправляет ответы по мере их создания, обеспечивая непрерывный поток данных. В отличие от этого, API без потоковой передачи ждет, пока не будет готов весь ответ, и возвращает его как единый блок.
Для длинных ответов выбирайте потоковый API, так как он позволяет быстрее получить первоначальный ответ. API без потоковой передачи больше подходит для коротких ответов или обработки результатов пакетами.
Служба поддержки устройства
API для функций GenAI (обобщение, корректура, переписывание и описание изображений) поддерживаются на других устройствах, чем Prompt API. Подробности приведены в следующих разделах.
Поддержка устройств для определенных функций API
API Summarization, Proofreading, Rewriting и Image Description доступны на следующих устройствах. В будущем мы планируем добавить поддержку и других устройств:
- Google: Pixel 11, Pixel 11 Pro, Pixel 11 Pro XL, Pixel 11 Pro Fold, Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5.
- iQOO: iQOO 13, iQOO 15.
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8,8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s.
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G.
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro.
- realme: realme GT 7 Pro, realme GT 7T.
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Flip8, Galaxy Z Fold8, Galaxy Z Fold8 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- Sharp: AQUOS R11
- Sony: Xperia 1 VIII
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini.
Поддержка определенных языков может зависеть от конфигурации устройства и скачанных на него моделей.
Поддержка устройств в Prompt API
Prompt API поддерживается на следующих устройствах:
nano-v2 |
|
nano-v3 |
|
nano-v4 |
|
Поддержка устройств в Speech Recognition API
API распознавания речи поддерживается на следующих устройствах:
| Основной режим | Использует традиционную модель распознавания речи на устройстве, доступную на большинстве устройств Android с API уровня 31 и выше. |
|---|---|
| Расширенный режим | Использует модель генеративного ИИ для более высокого качества и более широкого охвата языков. Поддерживается на устройствах Pixel 10 и Pixel 11. В разработке поддержка других устройств. |
Как узнать версию Gemini Nano
На разных устройствах работают разные версии Gemini Nano. Чтобы узнать версию Gemini Nano на устройстве, используйте getBaseModelName().
Квота на приложение
В AICore действует квота на инференс для каждого приложения. Слишком большое количество запросов к API GenAI за короткий период времени приведет к ответу ErrorCode.BUSY. Если вы получили такую ошибку, попробуйте отправить запрос повторно, используя экспоненциальную выдержку. Кроме того, ошибка ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED может возвращаться, если приложение превышает долгосрочную квоту (например, дневную).
Использование в фоновом режиме
Вызов GenAI API разрешен, только когда приложение находится на переднем плане. Если использовать API, когда приложение не находится на переднем плане, в том числе с помощью активной службы, будет получен ответ ErrorCode.BACKGROUND_USE_BLOCKED.
Образец кода
Чтобы получить этот код, ознакомьтесь со следующими примерами: