Распознавание сетки лица

С помощью API обнаружения сетки лица ML Kit можно в реальном времени генерировать высокоточную сетку из 468 трехмерных точек для изображений, похожих на селфи. Лица должны находиться на расстоянии не более 2 метров от камеры.

Если вам нужно распознавать лица на расстоянии более двух метров от камеры, используйте SDK для распознавания лиц в ML Kit.

Ниже приведены некоторые термины, связанные с функцией обнаружения сетки лица.

  • Ограничительная рамка – это прямоугольная область, в которой находится распознанное лицо.
  • Информация о сетке лица – это группа из 468 3D-точек и ребер, которые можно использовать для рисования геометрической сетки распознанного лица.

API для обнаружения сетки лица создает сетку лица для обнаруженных лиц. Каждая сетка содержит 468 трехмерных точек и ребер. Благодаря обнаружению сетки лица можно выполнять более точные операции с лицами в реальном времени, например применять фильтры дополненной реальности, делать селфи и общаться в видеочате.

Android

Основные возможности

  • Распознавание и поиск лиц. Получите ограничительную рамку для обнаруженных лиц на фотографии, похожей на селфи.
  • Получение информации о сетке лица. Получайте информацию о 468 3D-точках и треугольниках для каждого обнаруженного лица.
  • Обработка кадров видео в реальном времени. Распознавание сетки лица выполняется на устройстве и достаточно быстро для приложений, работающих в реальном времени, например для обработки видео.

Пример результатов

Запрос Выходные данные (режим "Только граничная рамка") Выходные данные (режим "Сетка лица")

Сравнение с пакетом SDK для распознавания лиц ML Kit

Face mesh detection API Face Detection API
Рекомендуемый вариант использования (примеры)
  • Генерируйте AR-эффекты на лицах в видеопотоке
  • Распознавание лиц в реальном времени на фотографиях, похожих на селфи (лицо находится на расстоянии около 2 метров).
  • определять количество лиц на фотографии;
  • Распознавание лиц на большом расстоянии от камеры.
Задержка Низкая (~14 мс на Pixel 3)

Рекомендуется для режима реального времени.

 Средняя (~60 мс на Pixel 3 при включенном быстром режиме)
Рекомендуемый способ ввода Лица, снятые с расстояния около 2 метров. Любые фотографии с лицами.
Выходные данные точек лица Для каждого лица – 468 трехмерных точек и информация о треугольниках, если включен режим "Сетка лица". Для каждого лица – 133 двухмерные точки, если включен режим "Контур лица".
# лица распознаны
  • Режим "Только граничная рамка": >=1 граничная рамка, если лица находятся близко к камере (на расстоянии не более 2 м).
  • Режим Face mesh: максимум две граничные рамки и сетки, если лица находятся близко к камере (в пределах двух метров).
  • Режим"граничная рамка": >=1; лица могут быть далеко от камеры, но минимальный размер лица – 100 x 100 пикселей.
  • Контуры лица: не более 1, если лица находятся близко к камере.
Идентификатор отслеживания Нет Да
Ориентация лица Нет Да
Классификация лиц (например, улыбается ли человек) Нет Да
Реализация Только пакеты Смешанная / отдельная
Размер приложения Смешанная: ~6,4 МБ

Отдельно: пока недоступно

 Смешанная: ~6,9 МБ

Отдельно: ~0,6 МБ