আপনার পছন্দের ভাষায় কন্টেন্ট অনুবাদ করতে Google তার AI প্রযুক্তি ব্যবহার করে। AI-এর মাধ্যমে করা অনুবাদে ভুল থাকতে পারে।

iOS-এ কাস্টম মডেলের সাহায্যে ছবিতে লেবেল যোগ করা

আপনি কোনও ছবিতে এন্টিটি শনাক্ত করতে এবং সেগুলিকে লেবেল করতে ML Kit ব্যবহার করতে পারেন। এই API-তে বিভিন্ন ধরনের কাস্টম ইমেজ ক্লাসিফিকেশন মডেল কাজ করে। মডেলের মানানসই হওয়ার প্রয়োজনীয়তা, আগে থেকে ট্রেনিং দেওয়া মডেল কোথায় পাওয়া যাবে এবং কীভাবে আপনার নিজস্ব মডেলকে ট্রেনিং দেবেন সেই বিষয়ে নির্দেশনার জন্য ML Kit-এর সাথে কাস্টম মডেল দেখুন।

কাস্টম মডেল ইন্টিগ্রেট করার দুটি উপায় আছে। আপনি মডেলটি বান্ডেল করতে পারেন, এর জন্য আপনার অ্যাপের অ্যাসেট ফোল্ডারের মধ্যে এটি রাখুন অথবা আপনি Cloud Storage থেকে এটি ডায়নামিক ডাউনলোড করতে পারেন। নিচের সারণীতে দুটি বিকল্পের মধ্যে তুলনা করা হয়েছে।

বান্ডেল করা মডেল	হোস্ট করা মডেল
মডেলটি আপনার অ্যাপের APK-এর অংশ, যার ফলে এর সাইজ বেড়ে যায়।	মডেলটি আপনার APK-এর অংশ নয়। এটি Cloud Storage-এ আপলোড করে হোস্ট করা হয়। আমরা Firebase-এর জন্য Cloud Storage ব্যবহার করার সাজেশন দিই।
Android ডিভাইস অফলাইনে থাকলেও, মডেলটি অবিলম্বে উপলভ্য হয়	চাহিদা অনুযায়ী মডেল ডাউনলোড করার কোড আপনার অ্যাপে থাকতে হবে
Firebase প্রোজেক্টের প্রয়োজন নেই	Firebase প্রোজেক্ট প্রয়োজন (Firebase-এর জন্য Cloud Storage ব্যবহার করলে)।
মডেল আপডেট করতে হলে আপনাকে অবশ্যই অ্যাপ আবার প্রকাশ করতে হবে	আপনার অ্যাপ আবার প্রকাশ না করেই মডেল আপডেট পুশ করা
কোনও বিল্ট-ইন A/B টেস্টিং নেই	Firebase রিমোট কনফিগ ব্যবহার করে A/B টেস্টিং

এটি ব্যবহার করে দেখুন

বান্ডেল করা মডেলের ব্যবহারের উদাহরণ দেখতে ভিশন কুইকস্টার্ট অ্যাপ এবং হোস্ট করা মডেলের ব্যবহারের উদাহরণ দেখতে অটোমেটিক মেশিন লার্নিং কুইকস্টার্ট অ্যাপ দেখুন।

শুরু করার আগে

আপনার Podfile-এ ML Kit লাইব্রেরি অন্তর্ভুক্ত করুন:
```
pod 'GoogleMLKit/ImageLabelingCustom', '8.0.0'
```
আপনার প্রোজেক্টের Pod ইনস্টল বা আপডেট করার পরে, এর .xcworkspace ব্যবহার করে আপনার Xcode প্রোজেক্ট খুলুন। ML Kit, Xcode ভার্সন 13.2.1 বা এর পরের যেকোনও ভার্সনে কাজ করে।
আপনি Firebase-এর জন্য Cloud Storage ব্যবহার করে কোনও মডেল ডাউনলোড করতে চাইলে, নিশ্চিত করুন যে আপনি iOS প্রোজেক্টে Firebase যোগ করেছেন, যদি আগে থেকে এটি না করে থাকেন। আপনি মডেল বান্ডেল করলে এটি প্রয়োজন হয় না।

১. মডেল লোড করুন

লোকাল মডেল সোর্স কনফিগার করা

আপনার অ্যাপের সাথে মডেল বান্ডেল করতে:

আপনার Xcode প্রোজেক্টে মডেল ফাইল (সাধারণত .tflite বা .lite দিয়ে শেষ হয়) কপি করুন, কপি করার সময় Copy bundle resources বেছে নিতে ভুলবেন না। মডেল ফাইলটি অ্যাপ বান্ডেলে অন্তর্ভুক্ত করা হবে এবং ML Kit-এর জন্য উপলভ্য হবে।

মডেল ফাইলের পাথ উল্লেখ করে LocalModel অবজেক্ট তৈরি করুন:

Swift

let localModel = LocalModel(path: localModelFilePath)

Objective-C

MLKLocalModel *localModel =
    [[MLKLocalModel alloc] initWithPath:localModelFilePath];

রিমোট লোকেশন থেকে হোস্ট করা মডেল সোর্স কনফিগার করা

রিমোটলি-হোস্ট করা মডেল ব্যবহার করতে, আপনাকে অবশ্যই নিজের অ্যাপ লজিক ব্যবহার করে ডিভাইসের লোকাল স্টোরেজে মডেল ফাইল ডাউনলোড করতে হবে এবং তারপরে এটি লোকাল মডেল হিসেবে লোড করতে হবে। মডেল হোস্ট করার জন্য আমরা Firebase-এর জন্য ক্লাউড স্টোরেজ ব্যবহার করার সাজেশন দিই। ইমপ্লিমেন্টেশন সম্পর্কিত বিবরণের জন্য, Firebase ML থেকে Cloud Storage মাইগ্রেশন গাইড দেখুন।

ইমেজ লেবেলার কনফিগার করা

আপনার মডেল সোর্স কনফিগার করার পরে, সেগুলির মধ্যে একটি থেকে ImageLabeler অবজেক্ট তৈরি করুন।

নিম্নলিখিত বিকল্পগুলি উপলভ্য:

বিকল্প

বিকল্প
`confidenceThreshold`	শনাক্ত করা লেবেলের ন্যূনতম কনফিডেন্স স্কোর। সেট করা না থাকলে, মডেলের মেটাডেটা দ্বারা নির্দিষ্ট করা যেকোনও ক্লাসিফায়ার থ্রেশহোল্ড ব্যবহার করা হবে। মডেলে কোনও মেটাডেটা না থাকলে বা মেটাডেটায় ক্লাসিফায়ার থ্রেশহোল্ড নির্দিষ্ট করা না থাকলে, ডিফল্ট থ্রেশহোল্ড হিসেবে 0.0 ব্যবহার করা হবে।
`maxResultCount`	ফেরত দেওয়ার জন্য লেবেলের সর্বাধিক সংখ্যা। সেট করা না থাকলে, ডিফল্ট ভ্যালু হিসেবে ১০ ব্যবহার করা হবে।

confidenceThreshold

শনাক্ত করা লেবেলের ন্যূনতম কনফিডেন্স স্কোর। সেট করা না থাকলে, মডেলের মেটাডেটা দ্বারা নির্দিষ্ট করা যেকোনও ক্লাসিফায়ার থ্রেশহোল্ড ব্যবহার করা হবে। মডেলে কোনও মেটাডেটা না থাকলে বা মেটাডেটায় ক্লাসিফায়ার থ্রেশহোল্ড নির্দিষ্ট করা না থাকলে, ডিফল্ট থ্রেশহোল্ড হিসেবে 0.0 ব্যবহার করা হবে।

maxResultCount

ফেরত দেওয়ার জন্য লেবেলের সর্বাধিক সংখ্যা। সেট করা না থাকলে, ডিফল্ট ভ্যালু হিসেবে ১০ ব্যবহার করা হবে।

আপনার কাছে শুধুমাত্র লোকালি-বান্ডেল করা মডেল থাকলে, আপনার LocalModel অবজেক্ট থেকে লেবেলার তৈরি করুন:

Swift

let options = CustomImageLabelerOptions(localModel: localModel)
options.confidenceThreshold = NSNumber(value: 0.0)
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

MLKCustomImageLabelerOptions *options =
    [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
options.confidenceThreshold = @(0.0);
MLKImageLabeler *imageLabeler =
    [MLKImageLabeler imageLabelerWithOptions:options];

আপনার কাছে রিমোট-হোস্টেড মডেল থাকলে, সেটি চালানোর আগে আপনাকে চেক করে দেখতে হবে যে সেটি ডাউনলোড করা হয়েছে কিনা।

যদিও লেবেলার চালানোর আগে আপনাকে শুধু এটি কনফার্ম করতে হবে, আপনার কাছে রিমোটলি-হোস্ট করা মডেল এবং লোকালি-বান্ডেল করা মডেল, দুটিই থাকলে, ImageLabeler ইনস্ট্যান্টিয়েট করার সময় এই চেকটি করা যুক্তিযুক্ত হতে পারে: রিমোট মডেল থেকে একটি লেবেলার তৈরি করুন যদি এটি ডাউনলোড করা হয়ে থাকে, অন্যথায় লোকাল মডেল থেকে।

Swift

// Path where your download logic saves the model
let documentDirectory = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first!
let localModelURL = documentDirectory.appendingPathComponent("my_remote_model.tflite")

let model: LocalModel
if FileManager.default.fileExists(atPath: localModelURL.path) {
  // Use the downloaded model
  model = LocalModel(path: localModelURL.path)
} else {
  // Fall back to bundled model
  guard let bundledModelPath = Bundle.main.path(forResource: "model", ofType: "tflite") else { return }
  model = LocalModel(path: bundledModelPath)
}

let options = CustomImageLabelerOptions(localModel: model)
let imageLabeler = ImageLabeler.imageLabeler(options: options)

Objective-C

NSString *documentsDirectory = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *localModelPath = [documentsDirectory stringByAppendingPathComponent:@"my_remote_model.tflite"];

MLKLocalModel *model;
if ([NSFileManager.defaultManager fileExistsAtPath:localModelPath]) {
  // Use the downloaded model
  model = [[MLKLocalModel alloc] initWithPath:localModelPath];
} else {
  // Fall back to bundled model
  NSString *bundledModelPath = [NSBundle.mainBundle pathForResource:@"model" ofType:@"tflite"];
  model = [[MLKLocalModel alloc] initWithPath:bundledModelPath];
}

MLKCustomImageLabelerOptions *options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:model];
MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];

আপনার কাছে শুধুমাত্র রিমোট-হোস্ট করা মডেল থাকলে, মডেল-সম্পর্কিত কার্যকারিতা বন্ধ করে দেওয়া উচিত—যেমন, মডেল ডাউনলোড করা হয়েছে বলে নিশ্চিত না হওয়া পর্যন্ত আপনার UI-এর অংশ ধূসর করে দেওয়া বা লুকিয়ে রাখা।

Swift

let documentDirectory = FileManager.default.urls(for: .documentDirectory, in: .userDomainMask).first!
let localModelURL = documentDirectory.appendingPathComponent("my_remote_model.tflite")
if FileManager.default.fileExists(atPath: localModelURL.path) {
  // Model is already cached, initialize immediately
  self.initializeLabeler(with: localModelURL)
} else {
  // Model is not yet available, show loading UI and start download
  self.showLoadingUI()
  let storage = Storage.storage()
  let modelRef = storage.reference(forURL: "gs://YOUR_BUCKET/path/to/model.tflite")
  modelRef.write(toFile: localModelURL) { url, error in
    self.hideLoadingUI()
    if let error = error {
      // Handle download error
      self.showErrorUI()
    } else if let modelURL = url {
      // Download success, initialize labeler
      self.initializeLabeler(with: modelURL)
    }
  }
}

func initializeLabeler(with modelURL: URL) {
  let localModel = LocalModel(path: modelURL.path)
  let options = CustomImageLabelerOptions(localModel: localModel)
  self.imageLabeler = ImageLabeler.imageLabeler(options: options)
  // Enable ML-related UI features here
  self.enableMLFeatures()
}

Objective-C

NSString *documentsDirectory = [NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES) firstObject];
NSString *localModelPath = [documentsDirectory stringByAppendingPathComponent:@"my_remote_model.tflite"];
NSURL *localModelURL = [NSURL fileURLWithPath:localModelPath];

if ([NSFileManager.defaultManager fileExistsAtPath:localModelPath]) {
  // Model is already cached, initialize immediately
  [self initializeLabelerWithURL:localModelURL];
} else {
  // Model is not yet available, show loading UI and start download
  [self showLoadingUI];

  FIRStorage *storage = [FIRStorage storage];
  FIRStorageReference *modelRef = [storage referenceForURL:@"gs://YOUR_BUCKET/path/to/model.tflite"];

  [modelRef writeToFile:localModelURL
             completion:^(NSURL * _Nullable URL, NSError * _Nullable error) {
               [self hideLoadingUI];
               if (error != nil) {
                 // Handle download error
                 [self showErrorUI];
               } else {
                 // Download success, initialize labeler
                 [self initializeLabelerWithURL:URL];
               }
             }];
}

- (void)initializeLabelerWithURL:(NSURL *)modelURL {
  MLKLocalModel *localModel = [[MLKLocalModel alloc] initWithPath:modelURL.path];
  MLKCustomImageLabelerOptions *options = [[MLKCustomImageLabelerOptions alloc] initWithLocalModel:localModel];
  self.imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];

  // Enable ML-related UI features here
  [self enableMLFeatures];
}

২. ইনপুট ছবি প্রস্তুত করা

UIImage বা CMSampleBuffer ব্যবহার করে VisionImage অবজেক্ট তৈরি করুন।

আপনি UIImage ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:

UIImage-এর সাহায্যে VisionImage অবজেক্ট তৈরি করুন। সঠিক .orientation উল্লেখ করতে ভুলবেন না।

Swift

let image = VisionImage(image: UIImage)
visionImage.orientation = image.imageOrientation

Objective-C

MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
visionImage.orientation = image.imageOrientation;

আপনি CMSampleBuffer ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:

CMSampleBuffer-এ থাকা ইমেজ ডেটার ওরিয়েন্টেশন নির্দিষ্ট করুন।

ছবির ওরিয়েন্টেশন পেতে:

Swift

func imageOrientation(
  deviceOrientation: UIDeviceOrientation,
  cameraPosition: AVCaptureDevice.Position
) -> UIImage.Orientation {
  switch deviceOrientation {
  case .portrait:
    return cameraPosition == .front ? .leftMirrored : .right
  case .landscapeLeft:
    return cameraPosition == .front ? .downMirrored : .up
  case .portraitUpsideDown:
    return cameraPosition == .front ? .rightMirrored : .left
  case .landscapeRight:
    return cameraPosition == .front ? .upMirrored : .down
  case .faceDown, .faceUp, .unknown:
    return .up
  }
}

Objective-C

- (UIImageOrientation)
  imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                         cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                            : UIImageOrientationRight;

    case UIDeviceOrientationLandscapeLeft:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                            : UIImageOrientationUp;
    case UIDeviceOrientationPortraitUpsideDown:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                            : UIImageOrientationLeft;
    case UIDeviceOrientationLandscapeRight:
      return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                            : UIImageOrientationDown;
    case UIDeviceOrientationUnknown:
    case UIDeviceOrientationFaceUp:
    case UIDeviceOrientationFaceDown:
      return UIImageOrientationUp;
  }
}

CMSampleBuffer অবজেক্ট ও ওরিয়েন্টেশন ব্যবহার করে VisionImage অবজেক্ট তৈরি করুন:

Swift

let image = VisionImage(buffer: sampleBuffer)
image.orientation = imageOrientation(
  deviceOrientation: UIDevice.current.orientation,
  cameraPosition: cameraPosition)

Objective-C

 MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
 image.orientation =
   [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                cameraPosition:cameraPosition];

৩. ইমেজ লেবেলার চালান

কোনও ছবির অবজেক্ট লেবেল করতে, image অবজেক্টটি ImageLabeler-এর process() মেথডে পাস করুন।

অ্যাসিঙ্ক্রোনাস পদ্ধতিতে:

Swift

imageLabeler.process(image) { labels, error in
    guard error == nil, let labels = labels, !labels.isEmpty else {
        // Handle the error.
        return
    }
    // Show results.
}

Objective-C

[imageLabeler
    processImage:image
      completion:^(NSArray *_Nullable labels,
                   NSError *_Nullable error) {
        if (label.count == 0) {
            // Handle the error.
            return;
        }
        // Show results.
     }];

সিঙ্ক্রোনাস:

Swift

var labels: [ImageLabel]
do {
    labels = try imageLabeler.results(in: image)
} catch let error {
    // Handle the error.
    return
}
// Show results.

Objective-C

NSError *error;
NSArray *labels =
    [imageLabeler resultsInImage:image error:&error];
// Show results or handle the error.

৪. লেবেল করা এন্টিটি সম্পর্কে তথ্য পাওয়া

ইমেজ লেবেলিং অপারেশন সফল হলে, এটি ImageLabel-এর একটি অ্যারে রিটার্ন করে। প্রতিটি ImageLabel ছবিতে লেবেল করা কোনও কিছুকে প্রতিনিধিত্ব করে। আপনি প্রতিটি লেবেলের টেক্সট বিবরণ (LiteRT মডেল ফাইলের মেটাডেটাতে উপলভ্য থাকলে), কনফিডেন্স স্কোর এবং ইন্ডেক্স পেতে পারেন। যেমন:

Swift

for label in labels {
  let labelText = label.text
  let confidence = label.confidence
  let index = label.index
}

Objective-C

for (MLKImageLabel *label in labels) {
  NSString *labelText = label.text;
  float confidence = label.confidence;
  NSInteger index = label.index;
}

রিয়েল-টাইম পারফর্ম্যান্স উন্নত করার পরামর্শ

আপনি যদি রিয়েল-টাইম অ্যাপ্লিকেশনে ছবি লেবেল করতে চান, তাহলে সেরা ফ্রেমরেট পেতে এইসব নির্দেশিকা অনুসরণ করুন:

ভিডিও ফ্রেম প্রসেস করার জন্য, ডিটেক্টরের results(in:) সিঙ্ক্রোনাস API ব্যবহার করুন। প্রদত্ত ভিডিও ফ্রেম থেকে সিঙ্ক্রোনাসভাবে ফলাফল পেতে, AVCaptureVideoDataOutputSampleBufferDelegate's captureOutput(_, didOutput:from:) ফাংশন থেকে এই মেথডটি কল করুন। ডিটেক্টরে কল থ্রটল করতে AVCaptureVideoDataOutput-এর alwaysDiscardsLateVideoFrames-কে true হিসেবে রাখুন। ডিটেক্টর চলাকালীন নতুন ভিডিও ফ্রেম উপলভ্য হলে, সেটি বাদ দেওয়া হবে।
ইনপুট ছবিতে গ্রাফিক্স ওভারলে করতে আপনি যদি ডিটেক্টরের আউটপুট ব্যবহার করেন, তাহলে প্রথমে ML Kit থেকে ফলাফল পান, তারপরে ছবি রেন্ডার করুন এবং একটি ধাপে ওভারলে করুন। এটি করার মাধ্যমে, আপনি প্রসেস করা প্রতিটি ইনপুট ফ্রেমের জন্য ডিসপ্লে সারফেসে শুধুমাত্র একবার রেন্ডার করেন। উদাহরণের জন্য ML Kit কুইকস্টার্ট স্যাম্পেলে updatePreviewOverlayViewWithLastFrame দেখুন।