ML Kit를 사용하여 이미지 속 항목을 인식하고 라벨을 지정할 수 있습니다. 이 API는 다양한 커스텀 이미지 분류 모델을 지원합니다. 제발 자세한 내용은 ML Kit를 사용한 맞춤 모델을 참조하세요. 모델 호환성 요구사항, 선행 학습된 모델을 찾을 수 있는 위치, 자체 모델을 학습시키는 방법을 알아봅니다.
커스텀 모델을 통합하는 방법에는 두 가지가 있습니다. 다음을 기준으로 모델을 번들로 묶을 수 있습니다. 앱의 애셋 폴더에 넣거나 동적으로 다운로드할 수 있습니다. 있습니다. 다음 표에서는 두 가지 옵션을 비교합니다.
번들 모델 | 호스팅된 모델 |
---|---|
모델이 앱 APK에 포함되어 크기가 커집니다. | 모델이 APK의 일부가 아닙니다. 에 업로드되어 호스팅됩니다. Firebase 머신러닝. |
Android 기기가 오프라인 상태일 때도 모델을 즉시 사용할 수 있습니다. | 모델이 요청 시 다운로드됩니다. |
Firebase 프로젝트가 필요하지 않음 | Firebase 프로젝트 필요 |
모델을 업데이트하려면 앱을 다시 게시해야 합니다. | 앱을 다시 게시할 필요 없이 모델 업데이트 푸시 |
A/B 테스트 기본 제공 없음 | Firebase 원격 구성으로 간편하게 A/B 테스트 진행 |
사용해 보기
- Vision 빠른 시작 앱 보기 를 참조하세요. automl 빠른 시작 앱을 호스팅된 모델의 사용 예시입니다.
시작하기 전에
Podfile에 ML Kit 라이브러리를 포함합니다.
모델을 앱과 번들로 묶는 방법은 다음과 같습니다.
pod 'GoogleMLKit/ImageLabelingCustom', '3.2.0'
Firebase에서 모델을 동적으로 다운로드하려면
LinkFirebase
를 추가합니다. 종속됩니다.pod 'GoogleMLKit/ImageLabelingCustom', '3.2.0' pod 'GoogleMLKit/LinkFirebase', '3.2.0'
프로젝트의 포드를 설치하거나 업데이트한 후 Xcode 프로젝트를 엽니다.
.xcworkspace
를 사용하여 호출 ML Kit는 Xcode 버전 13.2.1에서 지원됩니다. 또는 그 이상일 수 있습니다.모델을 다운로드하려면 iOS 프로젝트에 Firebase 추가 확인하세요. 이 작업은 있습니다.
1. 모델 로드
로컬 모델 소스 구성
모델을 앱과 번들로 묶으려면 다음 안내를 따르세요.
모델 파일 (일반적으로
.tflite
또는.lite
로 끝남)을 Xcode에 복사합니다. 이 경우Copy bundle resources
를 선택해야 합니다. 이 모델 파일이 App Bundle에 포함되어 ML Kit에서 사용할 수 있게 됩니다.모델 파일의 경로를 지정하여
LocalModel
객체를 만듭니다.Swift
let localModel = LocalModel(path: localModelFilePath)
Objective-C
MLKLocalModel *localModel = [[MLKLocalModel alloc] initWithPath:localModelFilePath];
Firebase 호스팅 모델 소스 구성
원격 호스팅 모델을 사용하려면 RemoteModel
객체를 만들고
모델을 게시할 때 할당한 이름:
Swift
let firebaseModelSource = FirebaseModelSource( name: "your_remote_model") // The name you assigned in // the Firebase console. let remoteModel = CustomRemoteModel(remoteModelSource: firebaseModelSource)
Objective-C
MLKFirebaseModelSource *firebaseModelSource = [[MLKFirebaseModelSource alloc] initWithName:@"your_remote_model"]; // The name you assigned in // the Firebase console. MLKCustomRemoteModel *remoteModel = [[MLKCustomRemoteModel alloc] initWithRemoteModelSource:firebaseModelSource];
그런 다음 모델을 다운로드할 조건을 지정하여 모델 다운로드 작업을 선택합니다. 모델이 기기에 없거나 최신 모델이 사용 가능해지면 태스크는 DAG를 비동기식으로 있습니다.
Swift
let downloadConditions = ModelDownloadConditions( allowsCellularAccess: true, allowsBackgroundDownloading: true ) let downloadProgress = ModelManager.modelManager().download( remoteModel, conditions: downloadConditions )
Objective-C
MLKModelDownloadConditions *downloadConditions = [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES allowsBackgroundDownloading:YES]; NSProgress *downloadProgress = [[MLKModelManager modelManager] downloadModel:remoteModel conditions:downloadConditions];
대부분의 앱은 초기화 코드에서 다운로드 작업을 시작하지만 모델을 사용하기 전에 언제든지 이 작업을 할 수 있습니다.
이미지 라벨러 구성
모델 소스를 구성한 후 모델 소스에서 ImageLabeler
객체를 만듭니다.
있습니다.
사용할 수 있는 옵션은 다음과 같습니다.
옵션 | |
---|---|
confidenceThreshold
|
감지된 라벨의 최소 신뢰도 점수입니다. 설정하지 않으면 모델의 메타데이터에 지정된 분류 기준 임곗값이 사용됩니다. 모델에 메타데이터가 없거나 메타데이터가 포함되지 않은 경우 분류 기준 임곗값을 지정하면 기본 임곗값인 0.0이 있습니다. |
maxResultCount
|
반환할 최대 라벨 수입니다. 설정하지 않으면 10이 사용됩니다. |
로컬로 번들된 모델만 있다면
LocalModel
객체:
Swift
let options = CustomImageLabelerOptions(localModel: localModel) options.confidenceThreshold = NSNumber(value: 0.0) let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKCustomImageLabelerOptions *options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel]; options.confidenceThreshold = @(0.0); MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
원격 호스팅 모델이 있는 경우에는 모델이
다운로드할 수 있습니다. 모델 다운로드 상태를 확인할 수 있습니다.
모델 관리자의 isModelDownloaded(remoteModel:)
메서드를 사용하여 태스크를 수행합니다.
이는 라벨러를 실행하기 전에만 확인하면 되지만
원격 호스팅 모델과 로컬로 번들된 모델이 모두 있는 경우
ImageLabeler
를 인스턴스화할 때 이 확인을 실행하는 것이 좋습니다.
다운로드된 경우 원격 모델에서, 그리고 로컬 모델에서 라벨을 지정합니다.
없습니다.
Swift
var options: CustomImageLabelerOptions! if (ModelManager.modelManager().isModelDownloaded(remoteModel)) { options = CustomImageLabelerOptions(remoteModel: remoteModel) } else { options = CustomImageLabelerOptions(localModel: localModel) } options.confidenceThreshold = NSNumber(value: 0.0) let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKCustomImageLabelerOptions *options; if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) { options = [[MLKCustomImageLabelerOptions alloc] initWithRemoteModel:remoteModel]; } else { options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel]; } options.confidenceThreshold = @(0.0); MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
원격 호스팅 모델만 있는 경우 모델 관련 사용을 중지해야 합니다. 비활성화되거나 UI의 일부를 숨기는 등의 작업을 할 수 없습니다. 모델이 다운로드되었음을 확인합니다.
기본값에 관찰자를 연결하여 모델 다운로드 상태를 가져올 수 있습니다.
알림 센터를 탭합니다. 관찰자에서 self
의 약한 참조를 사용해야 합니다.
다운로드하는 데 시간이 걸릴 수 있고 원래 객체는
다운로드가 완료되면 해제됩니다. 예를 들면 다음과 같습니다.
Swift
NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidSucceed, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel, model.name == "your_remote_model" else { return } // The model was downloaded and is available on the device } NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidFail, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel else { return } let error = userInfo[ModelDownloadUserInfoKey.error.rawValue] // ... }
Objective-C
__weak typeof(self) weakSelf = self; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidSucceedNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel]; if ([model.name isEqualToString:@"your_remote_model"]) { // The model was downloaded and is available on the device } }]; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidFailNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError]; }];
2. 입력 이미지 준비
VisionImage
객체를 UIImage
또는
CMSampleBuffer
입니다.
UIImage
를 사용하는 경우 다음 단계를 따르세요.
UIImage
로VisionImage
객체를 만듭니다. 올바른.orientation
를 지정해야 합니다.Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
CMSampleBuffer
를 사용하는 경우 다음 단계를 따르세요.
-
CMSampleBuffer
이미지 방향을 가져오는 방법은 다음과 같습니다.
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
- 다음을 사용하여
VisionImage
객체를 만듭니다.CMSampleBuffer
객체 및 방향:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
3. 이미지 라벨러 실행
이미지의 객체에 라벨을 지정하려면 image
객체를 ImageLabeler
의
process()
메서드를 사용하여 지도 가장자리에
패딩을 추가할 수 있습니다.
비동기식으로:
Swift
imageLabeler.process(image) { labels, error in guard error == nil, let labels = labels, !labels.isEmpty else { // Handle the error. return } // Show results. }
Objective-C
[imageLabeler processImage:image completion:^(NSArray*_Nullable labels, NSError *_Nullable error) { if (label.count == 0) { // Handle the error. return; } // Show results. }];
동기식으로:
Swift
var labels: [ImageLabel] do { labels = try imageLabeler.results(in: image) } catch let error { // Handle the error. return } // Show results.
Objective-C
NSError *error; NSArray*labels = [imageLabeler resultsInImage:image error:&error]; // Show results or handle the error.
4. 라벨이 지정된 항목에 대한 정보 가져오기
이미지 라벨 지정 작업이 성공하면ImageLabel
각 ImageLabel
는 이전에 봤던 것들을 나타냅니다.
있습니다. 각 라벨의 텍스트 설명을 가져올 수 있습니다 (사용 가능한 경우
TensorFlow Lite 모델 파일의 메타데이터), 신뢰도 점수, 색인입니다.
예를 들면 다음과 같습니다.
Swift
for label in labels { let labelText = label.text let confidence = label.confidence let index = label.index }
Objective-C
for (MLKImageLabel *label in labels) { NSString *labelText = label.text; float confidence = label.confidence; NSInteger index = label.index; }
실시간 성능 개선을 위한 팁
실시간 애플리케이션에서 이미지에 라벨을 지정하려면 다음 가이드라인을 참조하세요.
- 동영상 프레임을 처리하려면 감지기의
results(in:)
동기 API를 사용하세요. 전화걸기AVCaptureVideoDataOutputSampleBufferDelegate
님의 <ph type="x-smartling-placeholder"></ph>captureOutput(_, didOutput:from:)
함수를 사용하여 특정 동영상에서 동기식으로 결과를 가져옵니다. 있습니다. 유지AVCaptureVideoDataOutput
님의alwaysDiscardsLateVideoFrames
를true
로 설정하여 감지기 호출을 제한합니다. 새 동영상 프레임은 감지기가 실행되는 동안 사용할 수 있게 되면 삭제됩니다. - 감지기 출력을 사용하여 그래픽 이미지를 먼저 ML Kit에서 결과를 가져온 후 이미지를 하나의 단계로 오버레이할 수 있습니다. 이렇게 하면 처리되어야 합니다 자세한 내용은 updatePreviewOverlayViewWithLastFrame을 를 참조하세요.