Migrar da Vision para dispositivos móveis para o Kit de ML no Android

Este documento aborda as etapas necessárias para migrar seus projetos do Google Mobile Vision (GMV) para o Kit de ML no Android.

Mudanças gerais na API

Essas mudanças se aplicam a todas as APIs:

  • As APIs de GMV retornam um resultado SparseArray<T> de forma síncrona. As APIs do ML Kit usam a API Task do Google Play Services para retornar resultados de forma assíncrona.
  • O GMV usa a chamada isOperational() na superfície da API para indicar se um módulo foi baixado com sucesso e está pronto para uso. O Kit de ML não tem esse método. O ML Kit gera uma exceção MlKitException.UNAVAILABLE se um módulo não tiver sido baixado. É possível capturar essa exceção e processar o próximo frame ou definir um tempo limite e tentar de novo com o frame atual.
  • Os métodos de GMV usam Frame para entrada. O Kit de ML usa InputImage.
  • O GMV fornece frameworks MultiDetector, MultiProcessor e FocusingProcessor para realizar várias detecções e filtragem de resultados. O ML Kit não oferece esses mecanismos, mas a mesma funcionalidade pode ser implementada pelo desenvolvedor, se necessário.

Atualizar importações do Gradle

Atualize as dependências das bibliotecas do Android do Kit de ML no arquivo Gradle do módulo (nível do app), que geralmente é app/build.gradle, de acordo com a tabela a seguir:

API Artefato de GMV Artefato do Kit de ML
FaceDetector com.google.android.gms:play-services-vision:x.x.x com.google.android.gms:play-services-mlkit-face-detection:17.1.0
BarcodeDetector com.google.android.gms:play-services-vision:x.x.x com.google.android.gms:play-services-mlkit-barcode-scanning:18.3.1
TextRecognition com.google.android.gms:play-services-vision:x.x.x com.google.android.gms:play-services-mlkit-text-recognition:19.0.1
CameraSource com.google.android.gms:play-services-vision:x.x.x com.google.mlkit:camera:16.0.0-beta3

Mudanças na API

Esta seção descreve as classes e os métodos correspondentes do GMV e do ML Kit para cada API Vision e mostra como inicializar a API.

FaceDetector

Recodifique a inicialização como mostrado neste exemplo:

GMV

detector = new FaceDetector.Builder(context)
    .setMode(FaceDetector.ACCURATE_MODE)
    .setLandmarkType(FaceDetector.ALL_LANDMARKS)
    .setClassificationType(FaceDetector.ALL_CLASSIFICATIONS)
    .build();

Kit de ML

FaceDetectorOptions options = new FaceDetectorOptions.Builder()
    .setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_ACCURATE)
    .setLandmarkMode(FaceDetectorOptions.LANDMARK_MODE_ALL)
    .setClassificationMode(FaceDetectorOptions.CLASSIFICATION_MODE_ALL)
    .build();

detector = FaceDetection.getClient(options);

Mude os seguintes nomes de classe e método:

android.gms.vision.face mlkit.vision.face
FaceDetector FaceDetector
SparseArray<Face> detect(Frame frame) Task<List<Face>> process(@NonNull InputImage image)
FaceDetector.Builder.setClassificationType(int classificationType) FaceDetectorOptions.Builder.setClassificationMode(int classificationMode)
NO_CLASSIFICATIONS, ALL_CLASSIFICATIONS CLASSIFICATION_MODE_NONE, CLASSIFICATION_MODE_ALL
FaceDetector.Builder.setLandmarkType(int landmarkType) FaceDetectorOptions.Builder.setLandmarkMode(int landmarkMode)
NO_LANDMARKS, ALL_LANDMARKS, CONTOUR_LANDMARKS LANDMARK_MODE_NONE, LANDMARK_MODE_ALL

use #setContourMode para substituir GMV CONTOUR_LANDMARKS)

FaceDetector.Builder.setTrackingEnabled(boolean trackingEnabled) FaceDetectorOptions.Builder.enableTracking()
FaceDetector.Builder.setMinFaceSize(float proportionalMinFaceSize) FaceDetectorOptions.Builder.setMinFaceSize(float minFaceSize)
FaceDetector.Builder.setMode(int mode) FaceDetectorOptions.Builder.setPerformanceMode(int performanceMode)
FAST_MODE, ACCURATE_MODE PERFORMANCE_MODE_FAST, PERFORMANCE_MODE_ACCURATE
FaceDetector.Builder.setProminentFaceOnly(boolean prominentFaceOnly) Esse recurso é coberto pelo modo de contorno do rosto.
Face Face
Contour FaceContour
Landmark FaceLandmark
Face.getContours() Face.getAllContours()
Face.getEulerY() Face.getHeadEulerAngleY()
Face.getEulerZ() Face.getHeadEulerAngleZ()
Face.getId() Face.getTrackingId()
Face.getIsLeftEyeOpenProbability() Face.getLeftEyeOpenProbability()
Face.getIsRightEyeOpenProbability() Face.getRightEyeOpenProbability()
Face.getIsSmilingProbability() Face.getSmilingProbability()
Face.getLandmarks() Face.getLandmark(int landmarkType)
Face.getPosition()
Face.getHeight()
Face.getWidth() 		Face.getBoundingBox()

BarcodeDetector

Recodifique a inicialização como mostrado neste exemplo:

GMV

barcodeDetector = new BarcodeDetector.Builder(context).build());

Kit de ML

barcodeScanner = BarcodeScanning.getClient();

Mude os seguintes nomes de classe e método:

android.gms.vision.barcode mlkit.vision.barcode
BarcodeDetector BarcodeScanner
SparseArray<Barcode> detect(Frame frame) Task<List<Barcode>> process(@NonNull InputImage image)
Barcode Barcode

TextRecognition

Recodifique a inicialização como mostrado neste exemplo:

GMV

textRecognizer = new TextRecognizer.Builder(context).build();

Kit de ML

textRecognizer = TextRecognition.getClient(TextRecognizerOptions.DEFAULT_OPTIONS);

Mude os seguintes nomes de classe e método:

android.gms.vision.text mlkit.vision.text
TextRecognizer TextRecognizer
SparseArray<TextBlock> detect(Frame frame) Task<Text> process(@NonNull InputImage image)
SparseArray<TextBlock> Text
Line Line
TextBlock TextBlock
Element Element
getLanguage() getRecognizedLanguage()
getBoundingBox() getBoundingBox()
getCornerPoints() getCornerPoints()
TextBlock.getComponents() TextBlock.getLines()
TextBlock.getValue() TextBlock.getText()
Element.getValue() Element.getText()

CameraSource

Se você usa a biblioteca CameraSource fornecida pelo Google Mobile Vision, é fácil migrar para a biblioteca CameraXSource do ML Kit, desde que seu app esteja sendo executado em uma versão mínima do SDK >= 21.

Mude os seguintes nomes de classe e método:

android.gms.vision mlkit.vision.camera
CameraSource CameraSourceConfig
CameraSource.Builder CameraSourceConfig.Builder
CameraSource.Builder.setAutoFocusEnabled O foco automático é fornecido por padrão ao usar o CameraX.
CameraSource.Builder.setFacing CameraSourceConfig.Builder.setCameraFacing
CameraSource.Builder.setFocusMode O foco automático é fornecido por padrão ao usar o CameraX.
CameraSource.Builder.setRequestedFps Obsoleto.
CameraSource.Builder.setRequestedPreviewSize CameraSourceConfig.Builder.setRequestedPreviewSize
CameraSource CameraXSource
new CameraSource.Builder(mContext, detector)....build(); CameraXSource(CameraSourceConfig, PreviewView)
getCameraFacing() getCameraFacing()
getPreviewSize() getPreviewSize()
release() close()
start(SurfaceHolder surfaceHolder) start() // The previewview is set in the CameraSourceConfig
start() start()
stop() stop()
Detector.Processor DetectionTaskCallback
receiveDetections(Detections<T> detections) void onDetectionTaskReceived(@NonNull Task<ResultT> detectionTask);
release() Gerenciado internamente
CameraSource.PictureCallback Descontinuado
CameraSource.ShutterCallback Descontinuado

Receber ajuda

Se tiver problemas, confira nossa página da comunidade, onde descrevemos os canais disponíveis para entrar em contato com nossa equipe.