С помощью API для разметки изображений ML Kit вы можете обнаруживать и извлекать информацию об объектах на изображении в широком диапазоне категорий. Модель разметки изображений по умолчанию может идентифицировать общие объекты, места, виды деятельности, виды животных, товары и многое другое.
Вы также можете использовать собственную модель классификации изображений, чтобы адаптировать обнаружение к конкретному сценарию использования. Дополнительную информацию см. в разделе «Использование собственной модели LiteRT» .
Ключевые возможности
- Мощный универсальный базовый классификатор, распознающий более 400 категорий, описывающих наиболее часто встречающиеся объекты на фотографиях.
- Адаптируйте модель под свои задачи с помощью пользовательских моделей. Используйте другие предварительно обученные модели из TensorFlow Hub или собственную пользовательскую модель, обученную с помощью TensorFlow, AutoML или LiteRT.
- Простые в использовании высокоуровневые API. Нет необходимости работать с низкоуровневыми входными/выходными данными модели, предварительной и постобработкой изображений или построением конвейера обработки. ML Kit извлекает метки из модели LiteRT и предоставляет их в виде текстового описания.
Обратите внимание, что этот API предназначен для моделей классификации изображений, описывающих изображение целиком. Для классификации одного или нескольких объектов на изображении, таких как обувь или предметы мебели, лучше подойдет API обнаружения и отслеживания объектов .
Поддерживаемые модели классификации изображений
API для разметки изображений поддерживают различные модели классификации изображений:
| Поддерживаемые модели классификации изображений | |
|---|---|
| Базовая модель | По умолчанию API использует мощную универсальную модель маркировки изображений, которая распознает более 400 объектов, охватывающих наиболее часто встречающиеся понятия на фотографиях. |
| Пользовательские модели LiteRT | Для решения задач, специфичных для конкретного приложения, API принимает пользовательские модели классификации изображений из самых разных источников. Это могут быть предварительно обученные модели, загруженные из TensorFlow Hub, или ваши собственные модели, обученные с помощью AutoML, LiteRT или самого TensorFlow. Модели могут быть включены в ваше приложение или размещены в облачном хранилище и загружены во время выполнения. |
Используя базовую модель
Базовая модель ML Kit возвращает список сущностей, идентифицирующих людей, вещи, места, виды деятельности и так далее. Каждая сущность имеет оценку, указывающую на степень уверенности модели машинного обучения в её релевантности. Используя эту информацию, вы можете выполнять такие задачи, как автоматическая генерация метаданных и модерация контента. Модель по умолчанию, предоставляемая ML Kit, распознает более 400 различных сущностей .
Примеры меток
Базовая модель в API для разметки изображений поддерживает более 400 меток, например, следующие:
| Категория | Примеры меток |
|---|---|
| Люди | CrowdSelfieSmile |
| Деятельность | DancingEatingSurfing |
| Вещи | CarPianoReceipt |
| Животные | BirdCatDog |
| Растения | FlowerFruitVegetable |
| Места | BeachLakeMountain |
Пример результатов
Вот пример объектов, которые были распознаны на прилагаемой фотографии.
| Метка 0 | |
|---|---|
| Текст | Стадион |
| Уверенность | 0.9205354 |
| Метка 1 | |
| Текст | Спорт |
| Уверенность | 0.7531109 |
| Метка 2 | |
| Текст | Событие |
| Уверенность | 0.66905296 |
| Метка 3 | |
| Текст | Досуг |
| Уверенность | 0.59904146 |
| Метка 4 | |
| Текст | Футбольный |
| Уверенность | 0.56384534 |
| Метка 5 | |
| Текст | Сеть |
| Уверенность | 0.54679185 |
| Метка 6 | |
| Текст | Растение |
| Уверенность | 0.524364 |
Использование пользовательской модели LiteRT
Базовая модель разметки изображений ML Kit предназначена для общего использования. Она обучена распознавать 400 категорий, описывающих наиболее часто встречающиеся объекты на фотографиях. Вашему приложению может потребоваться специализированная модель классификации изображений, которая распознает меньшее количество категорий более детально, например, модель, которая различает виды цветов или типы продуктов питания.
Этот API позволяет адаптироваться к конкретному сценарию использования, поддерживая пользовательские модели классификации изображений из широкого спектра источников. Подробнее см. в разделе «Пользовательские модели с ML Kit» . Пользовательские модели могут быть включены в ваше приложение или динамически загружены из облачного хранилища.
Предварительная обработка входного изображения
При необходимости функция маркировки изображений использует билинейное масштабирование и растяжение изображений для корректировки размера и соотношения сторон входного изображения в соответствии с требованиями базовой модели.