iOS-এ AutoML-এর মাধ্যমে ট্রেনিং দেওয়া মডেল ব্যবহার করে ছবিতে লেবেল লাগানো

AutoML Vision Edge ব্যবহার করে আপনার নিজস্ব মডেলকে ট্রেনিং দেওয়ার পরে, আপনি ছবিতে লেবেল লাগানোর জন্য এটি আপনার অ্যাপে ব্যবহার করতে পারবেন।

AutoML Vision Edge থেকে ট্রেনিং প্রাপ্ত মডেল ইন্টিগ্রেট করার দুটি উপায় আছে। আপনি মডেলের ফাইল আপনার Xcode প্রোজেক্টে কপি করে মডেলটি বান্ডেল করতে পারেন অথবা Firebase থেকে ডায়নামিকভাবে এটি ডাউনলোড করতে পারেন।

মডেল বান্ডেল করার বিকল্প
আপনার অ্যাপে বান্ডেল করা হয়েছে
  • মডেলটি বান্ডেলের অংশ
  • iOS ডিভাইস অফলাইনে থাকলেও, মডেলটি অবিলম্বে উপলভ্য হয়
  • Firebase প্রোজেক্টের প্রয়োজন নেই
Firebase-এর মাধ্যমে হোস্ট করা হয়েছে
  • Firebase Machine Learning-এ মডেল আপলোড করে হোস্ট করুন
  • অ্যাপ বান্ডেলের সাইজ কমায়
  • চাহিদা অনুযায়ী মডেল ডাউনলোড করা হয়
  • আপনার অ্যাপ আবার প্রকাশ না করেই মডেল আপডেট পুশ করুন
  • Firebase রিমোট কনফিগ-এর মাধ্যমে সহজে A/B টেস্ট করা
  • Firebase প্রোজেক্ট প্রয়োজন

এটি ব্যবহার করে দেখুন

শুরু করার আগে

১. আপনার Podfile-এ ML Kit লাইব্রেরি অন্তর্ভুক্ত করুন:

আপনার অ্যাপের সাথে একটি মডেল বান্ডিল করার জন্য:
    pod 'GoogleMLKit/ImageLabelingAutoML'
    
Firebase থেকে ডায়নামিক উপায়ে মডেল ডাউনলোড করতে, LinkFirebase ডিপেন্ডেন্সি যোগ করুন:
    pod 'GoogleMLKit/ImageLabelingAutoML'
    pod 'GoogleMLKit/LinkFirebase'
    
২. আপনার প্রোজেক্টের Pods ইনস্টল বা আপডেট করার পরে, .xcworkspaceকোড> ব্যবহার করে আপনার Xcode প্রোজেক্ট খুলুন। Xcode ভার্সন 13.2.1 বা তার চেয়ে উন্নত ভার্সনে ML Kit কাজ করে। ৩. আপনি কোনও মডেল ডাউনলোড করতে চাইলে, আপনার iOS প্রোজেক্টে Firebase যোগ করেছেন কিনা তা ভাল করে দেখে নিন, যদি আগে থেকে তা না করে থাকেন। আপনি মডেল বান্ডেল করলে, এটি করার প্রয়োজন নেই।

১. মডেল লোড করুন

স্থানীয় মডেল সোর্স কনফিগার করুন

আপনার অ্যাপের সাথে মডেল বান্ডেল করতে:

১. Firebase কনসোল থেকে ডাউনলোড করা জিপ আর্কাইভ থেকে মডেল ও তার মেটাডেটা একটি ফোল্ডারে এক্সট্র্যাক্ট করুন:
    your_model_directory
      |____dict.txt
      |____manifest.json
      |____model.tflite
    
তিনটি ফাইলই একই ফোল্ডারে থাকতে হবে। আমরা সাজেস্ট করি যে আপনি ফাইলগুলি ডাউনলোড করার পরে কোনও পরিবর্তন না করেই ব্যবহার করুন (ফাইলের নাম সহ)।

২. আপনার Xcode প্রোজেক্টে ফোল্ডারটি কপি করুন, এটি করার সময় ফোল্ডার রেফারেন্স তৈরি করুন বিকল্পটি বেছে নিতে ভুলবেন না। মডেল ফাইল এবং মেটাডেটা অ্যাপ বান্ডেলে অন্তর্ভুক্ত করা হবে এবং ML Kit-এর জন্য উপলভ্য হবে।

৩. মডেল ম্যানিফেস্ট ফাইলের পাথ উল্লেখ করে AutoMLImageLabelerLocalModel অবজেক্ট তৈরি করুন:

Swift

guard let manifestPath = Bundle.main.path(
    forResource: "manifest",
    ofType: "json",
    inDirectory: "your_model_directory"
) else { return }
let localModel = AutoMLImageLabelerLocalModel(manifestPath: manifestPath)

Objective-C

NSString *manifestPath =
    [NSBundle.mainBundle pathForResource:@"manifest"
                                  ofType:@"json"
                             inDirectory:@"your_model_directory"];
MLKAutoMLImageLabelerLocalModel *localModel =
    [[MLKAutoMLImageLabelerLocalModel alloc] initWithManifestPath:manifestPath];

Firebase-হোস্ট করা মডেল সোর্স কনফিগার করা

রিমোটলি-হোস্ট করা মডেল ব্যবহার করতে, একটি AutoMLImageLabelerRemoteModel অবজেক্ট তৈরি করুন, আপনি মডেলটি প্রকাশ করার সময় যে নামটি অ্যাসাইন করেছিলেন সেটি উল্লেখ করুন:

Swift

let remoteModel = AutoMLImageLabelerRemoteModel(
    name: "your_remote_model"  // The name you assigned in
                               // the Firebase console.
)

Objective-C

MLKAutoMLImageLabelerRemoteModel *remoteModel =
    [[MLKAutoMLImageLabelerRemoteModel alloc]
        initWithName:@"your_remote_model"];  // The name you assigned in
                                             // the Firebase console.

তারপর, মডেল ডাউনলোড করার টাস্ক শুরু করুন, যে শর্তের অধীনে আপনি ডাউনলোড করার অনুমতি দিতে চান তা উল্লেখ করুন। মডেলটি ডিভাইসে না থাকলে বা মডেলের নতুন ভার্সন উপলভ্য থাকলে, টাস্কটি Firebase থেকে অ্যাসিঙ্ক্রোনাসভাবে মডেলটি ডাউনলোড করবে:

Swift

let downloadConditions = ModelDownloadConditions(
  allowsCellularAccess: true,
  allowsBackgroundDownloading: true
)

let downloadProgress = ModelManager.modelManager().download(
  remoteModel,
  conditions: downloadConditions
)

Objective-C

MLKModelDownloadConditions *downloadConditions =
    [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES
                                         allowsBackgroundDownloading:YES];

NSProgress *downloadProgress =
    [[MLKModelManager modelManager] downloadModel:remoteModel
                                       conditions:downloadConditions];

অনেক অ্যাপ তাদের ইনিশিয়ালাইজেশন কোডে ডাউনলোডের টাস্ক শুরু করে, কিন্তু আপনি মডেল ব্যবহার করার আগে যেকোনও সময় তা করতে পারেন।

আপনার মডেল থেকে একটি ইমেজ লেবেলার তৈরি করুন

আপনার মডেল সোর্স কনফিগার করার পরে, সেগুলির মধ্যে একটি থেকে ImageLabeler অবজেক্ট তৈরি করুন।

আপনার কাছে শুধু লোকাল-বান্ডেল করা মডেল থাকলে, আপনার AutoMLImageLabelerLocalModel অবজেক্ট থেকে শুধু একটি লেবেলার তৈরি করুন এবং আপনার প্রয়োজনীয় কনফিডেন্স স্কোর থ্রেশহোল্ড কনফিগার করুন (আপনার মোড মূল্যায়ন করুন দেখুন:

Swift

let options = AutoMLImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = NSNumber(value: 0.0)  // Evaluate your model in the Firebase console
                                                    // to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKAutoMLImageLabelerOptions *options =
    [[MLKAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = @(0.0);  // Evaluate your model in the Firebase console
                                       // to determine an appropriate value.
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

আপনার কাছে রিমোটলি-হোস্ট করা মডেল থাকলে, সেটি চালানোর আগে আপনাকে চেক করে দেখতে হবে যে সেটি ডাউনলোড করা হয়েছে কিনা। আপনি মডেল ম্যানেজারের isModelDownloaded(remoteModel:) পদ্ধতি ব্যবহার করে মডেল ডাউনলোড টাস্কের স্ট্যাটাস চেক করতে পারবেন।

যদিও লেবেলার চালানোর আগে আপনাকে শুধু এটি কনফার্ম করতে হবে, আপনার কাছে রিমোটলি-হোস্ট করা মডেল এবং লোকালি-বান্ডেল করা মডেল, দুটিই থাকলে, ImageLabeler ইনস্ট্যান্টিয়েট করার সময় এই চেকটি করা যুক্তিযুক্ত হতে পারে: রিমোট মডেল ডাউনলোড করা থাকলে, সেটি থেকে একটি লেবেলার তৈরি করুন, অন্যথায় লোকাল মডেল থেকে তৈরি করুন।

Swift

var options: AutoMLImageLabelerOptions!
if (ModelManager.modelManager().isModelDownloaded(remoteModel)) {
  options = AutoMLImageLabelerOptions(remoteModel: remoteModel)
} else {
  options = AutoMLImageLabelerOptions(localModel: localModel)
}
options.confidenceThreshold = NSNumber(value: 0.0)  // Evaluate your model in the Firebase console
                                                    // to determine an appropriate value.
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKAutoMLImageLabelerOptions *options;
if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) {
  options = [[MLKAutoMLImageLabelerOptions alloc] initWithRemoteModel:remoteModel];
} else {
  options = [[MLKAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel];
}
options.confidenceThreshold = @(0.0);  // Evaluate your model in the Firebase console
                                       // to determine an appropriate value.
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

আপনার কাছে শুধুমাত্র রিমোটলি-হোস্ট করা মডেল থাকলে, মডেল ডাউনলোড হয়েছে কিনা তা কনফার্ম না করা পর্যন্ত মডেল-সম্পর্কিত কার্যকারিতা বন্ধ করে দেওয়া উচিত—যেমন, আপনার UI-এর অংশ গ্রে-আউট বা লুকানো।

ডিফল্ট বিজ্ঞপ্তি কেন্দ্রে অবজারভার অ্যাটাচ করে আপনি মডেল ডাউনলোড স্ট্যাটাস পেতে পারেন। অবজারভার ব্লকে self-এর জন্য দুর্বল রেফারেন্স ব্যবহার করতে ভুলবেন না, কারণ ডাউনলোড হতে কিছুটা সময় লাগতে পারে এবং ডাউনলোড শেষ হওয়ার সময় অরিজিনেটিং অবজেক্ট ফ্রি হয়ে যেতে পারে। যেমন:

Swift

NotificationCenter.default.addObserver(
    forName: .mlkitModelDownloadDidSucceed,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel,
        model.name == "your_remote_model"
        else { return }
    // The model was downloaded and is available on the device
}

NotificationCenter.default.addObserver(
    forName: .mlkitModelDownloadDidFail,
    object: nil,
    queue: nil
) { [weak self] notification in
    guard let strongSelf = self,
        let userInfo = notification.userInfo,
        let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue]
            as? RemoteModel
        else { return }
    let error = userInfo[ModelDownloadUserInfoKey.error.rawValue]
    // ...
}

Objective-C

__weak typeof(self) weakSelf = self;

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidSucceedNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel];
              if ([model.name isEqualToString:@"your_remote_model"]) {
                // The model was downloaded and is available on the device
              }
            }];

[NSNotificationCenter.defaultCenter
    addObserverForName:MLKModelDownloadDidFailNotification
                object:nil
                 queue:nil
            usingBlock:^(NSNotification *_Nonnull note) {
              if (weakSelf == nil | note.userInfo == nil) {
                return;
              }
              __strong typeof(self) strongSelf = weakSelf;

              NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError];
            }];

২. ইনপুট ছবি প্রস্তুত করুন

UIImage বা CMSampleBuffer ব্যবহার করে একটি VisionImage অবজেক্ট তৈরি করুন।

আপনি UIImage ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:

  • UIImage-এর সাহায্যে VisionImage অবজেক্ট তৈরি করুন। সঠিক .orientation উল্লেখ করতে ভুলবেন না।

    Swift

    let image = VisionImage(image: UIImage)
    visionImage.orientation = image.imageOrientation

    Objective-C

    MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
    visionImage.orientation = image.imageOrientation;

আপনি CMSampleBuffer ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:

  • CMSampleBuffer-এ থাকা ইমেজ ডেটার ওরিয়েন্টেশন নির্দিষ্ট করুন।

    ছবির ওরিয়েন্টেশন পেতে:

    Swift

    func imageOrientation(
      deviceOrientation: UIDeviceOrientation,
      cameraPosition: AVCaptureDevice.Position
    ) -> UIImage.Orientation {
      switch deviceOrientation {
      case .portrait:
        return cameraPosition == .front ? .leftMirrored : .right
      case .landscapeLeft:
        return cameraPosition == .front ? .downMirrored : .up
      case .portraitUpsideDown:
        return cameraPosition == .front ? .rightMirrored : .left
      case .landscapeRight:
        return cameraPosition == .front ? .upMirrored : .down
      case .faceDown, .faceUp, .unknown:
        return .up
      }
    }
          

    Objective-C

    - (UIImageOrientation)
      imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                             cameraPosition:(AVCaptureDevicePosition)cameraPosition {
      switch (deviceOrientation) {
        case UIDeviceOrientationPortrait:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                                : UIImageOrientationRight;
    
        case UIDeviceOrientationLandscapeLeft:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                                : UIImageOrientationUp;
        case UIDeviceOrientationPortraitUpsideDown:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                                : UIImageOrientationLeft;
        case UIDeviceOrientationLandscapeRight:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                                : UIImageOrientationDown;
        case UIDeviceOrientationUnknown:
        case UIDeviceOrientationFaceUp:
        case UIDeviceOrientationFaceDown:
          return UIImageOrientationUp;
      }
    }
          
  • CMSampleBuffer অবজেক্ট ও ওরিয়েন্টেশন ব্যবহার করে VisionImage অবজেক্ট তৈরি করুন:

    Swift

    let image = VisionImage(buffer: sampleBuffer)
    image.orientation = imageOrientation(
      deviceOrientation: UIDevice.current.orientation,
      cameraPosition: cameraPosition)

    Objective-C

     MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
     image.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

৩. ইমেজ লেবেলার চালান

অ্যাসিঙ্ক্রোনাসভাবে:

Swift

imageLabeler.process(image) { labels, error in
    guard error == nil, let labels = labels, !labels.isEmpty else {
        // Handle the error.
        return
    }
    // Show results.
}

Objective-C

[imageLabeler
    processImage:image
      completion:^(NSArray *_Nullable labels,
                   NSError *_Nullable error) {
        if (labels.count == 0) {
            // Handle the error.
            return;
        }
        // Show results.
     }];

সিঙ্ক্রোনাসভাবে:

Swift

var labels: [ImageLabel]
do {
    labels = try imageLabeler.results(in: image)
} catch let error {
    // Handle the error.
    return
}
// Show results.

Objective-C

NSError *error;
NSArray *labels =
    [imageLabeler resultsInImage:image error:&error];
// Show results or handle the error.

৪. লেবেল করা অবজেক্ট সম্পর্কে তথ্য পান

ইমেজ লেবেলিং অপারেশন সফল হলে, এটি ImageLabel-এর একটি অ্যারে রিটার্ন করে। প্রতিটি ImageLabel এমন কিছুকে দেখায় যা ছবিতে লেবেল করা হয়েছে। আপনি প্রতিটি লেবেলের টেক্সট বিবরণ (TensorFlow Lite মডেল ফাইলের মেটাডেটাতে উপলভ্য থাকলে), কনফিডেন্স স্কোর এবং ইন্ডেক্স পেতে পারেন। যেমন:

Swift

for label in labels {
  let labelText = label.text
  let confidence = label.confidence
  let index = label.index
}

Objective-C

for (MLKImageLabel *label in labels) {
  NSString *labelText = label.text;
  float confidence = label.confidence;
  NSInteger index = label.index;
}

রিয়েল-টাইম পারফর্ম্যান্স উন্নত করার পরামর্শ

আপনি যদি রিয়েল-টাইম অ্যাপ্লিকেশনে ছবি লেবেল করতে চান, তাহলে সেরা ফ্রেমরেট পেতে এইসব নির্দেশিকা অনুসরণ করুন:

  • ভিডিও ফ্রেম প্রসেস করার জন্য, ডিটেক্টরের results(in:) সিঙ্ক্রোনাস API ব্যবহার করুন। প্রদত্ত ভিডিও ফ্রেম থেকে সিঙ্ক্রোনাসভাবে ফলাফল পেতে AVCaptureVideoDataOutputSampleBufferDelegate-এর captureOutput(_, didOutput:from:) ফাংশন থেকে এই পদ্ধতি কল করুন। ডিটেক্টরে কল থ্রটল করতে AVCaptureVideoDataOutput-এর alwaysDiscardsLateVideoFrames true হিসেবে রাখুন। ডিটেক্টর চলাকালীন নতুন ভিডিও ফ্রেম উপলভ্য হলে, সেটি ড্রপ করা হবে।
  • ইনপুট ইমেজে গ্রাফিক্স ওভারলে করার জন্য আপনি যদি ডিটেক্টরের আউটপুট ব্যবহার করেন, তাহলে প্রথমে ML Kit থেকে ফলাফল পান, তারপর ইমেজ রেন্ডার করুন এবং একটি ধাপে ওভারলে করুন। এটি করার মাধ্যমে, আপনি প্রতিটি প্রসেস করা ইনপুট ফ্রেমের জন্য ডিসপ্লে সারফেসে শুধুমাত্র একবার রেন্ডার করেন। উদাহরণ হিসেবে ML Kit কুইকস্টার্ট স্যাম্পেলে updatePreviewOverlayViewWithLastFrame দেখুন।