iOS-এ AutoML-এর মাধ্যমে ট্রেনিং দেওয়া মডেল ব্যবহার করে ছবিতে লেবেল লাগানো
AutoML Vision Edge ব্যবহার করে আপনার নিজস্ব মডেলকে ট্রেনিং দেওয়ার পরে, আপনি ছবিতে লেবেল লাগানোর জন্য এটি আপনার অ্যাপে ব্যবহার করতে পারবেন।
AutoML Vision Edge থেকে ট্রেনিং প্রাপ্ত মডেল ইন্টিগ্রেট করার দুটি উপায় আছে। আপনি মডেলের ফাইল আপনার Xcode প্রোজেক্টে কপি করে মডেলটি বান্ডেল করতে পারেন অথবা Firebase থেকে ডায়নামিকভাবে এটি ডাউনলোড করতে পারেন।
| মডেল বান্ডেল করার বিকল্প | |
|---|---|
| আপনার অ্যাপে বান্ডেল করা হয়েছে |
|
| Firebase-এর মাধ্যমে হোস্ট করা হয়েছে |
|
এটি ব্যবহার করে দেখুন
- এই API-এর ব্যবহারিক উদাহরণ দেখতে স্যাম্পেল অ্যাপ ব্যবহার করে দেখুন।
শুরু করার আগে
১. আপনার Podfile-এ ML Kit লাইব্রেরি অন্তর্ভুক্ত করুন:আপনার অ্যাপের সাথে একটি মডেল বান্ডিল করার জন্য:
pod 'GoogleMLKit/ImageLabelingAutoML'
LinkFirebase
ডিপেন্ডেন্সি যোগ করুন:
pod 'GoogleMLKit/ImageLabelingAutoML'
pod 'GoogleMLKit/LinkFirebase'
.xcworkspaceকোড> ব্যবহার করে
আপনার Xcode প্রোজেক্ট খুলুন। Xcode ভার্সন 13.2.1 বা তার চেয়ে উন্নত ভার্সনে
ML Kit কাজ করে।
৩. আপনি কোনও মডেল ডাউনলোড করতে চাইলে,
আপনার iOS প্রোজেক্টে Firebase যোগ করেছেন কিনা তা ভাল করে দেখে নিন,
যদি আগে থেকে তা না করে থাকেন। আপনি মডেল বান্ডেল করলে, এটি করার প্রয়োজন নেই।
১. মডেল লোড করুন
স্থানীয় মডেল সোর্স কনফিগার করুন
আপনার অ্যাপের সাথে মডেল বান্ডেল করতে:১. Firebase কনসোল থেকে ডাউনলোড করা জিপ আর্কাইভ থেকে মডেল ও তার মেটাডেটা একটি ফোল্ডারে এক্সট্র্যাক্ট করুন:
your_model_directory
|____dict.txt
|____manifest.json
|____model.tflite
২. আপনার Xcode প্রোজেক্টে ফোল্ডারটি কপি করুন, এটি করার সময় ফোল্ডার রেফারেন্স তৈরি করুন বিকল্পটি বেছে নিতে ভুলবেন না। মডেল ফাইল এবং মেটাডেটা অ্যাপ বান্ডেলে অন্তর্ভুক্ত করা হবে এবং ML Kit-এর জন্য উপলভ্য হবে।
৩. মডেল ম্যানিফেস্ট ফাইলের পাথ উল্লেখ করে
AutoMLImageLabelerLocalModel অবজেক্ট তৈরি করুন:
Swift
guard let manifestPath = Bundle.main.path( forResource: "manifest", ofType: "json", inDirectory: "your_model_directory" ) else { return } let localModel = AutoMLImageLabelerLocalModel(manifestPath: manifestPath)
Objective-C
NSString *manifestPath = [NSBundle.mainBundle pathForResource:@"manifest" ofType:@"json" inDirectory:@"your_model_directory"]; MLKAutoMLImageLabelerLocalModel *localModel = [[MLKAutoMLImageLabelerLocalModel alloc] initWithManifestPath:manifestPath];
Firebase-হোস্ট করা মডেল সোর্স কনফিগার করা
রিমোটলি-হোস্ট করা মডেল ব্যবহার করতে, একটি AutoMLImageLabelerRemoteModel
অবজেক্ট তৈরি করুন, আপনি মডেলটি প্রকাশ করার সময় যে নামটি অ্যাসাইন করেছিলেন সেটি উল্লেখ করুন:
Swift
let remoteModel = AutoMLImageLabelerRemoteModel( name: "your_remote_model" // The name you assigned in // the Firebase console. )
Objective-C
MLKAutoMLImageLabelerRemoteModel *remoteModel = [[MLKAutoMLImageLabelerRemoteModel alloc] initWithName:@"your_remote_model"]; // The name you assigned in // the Firebase console.
তারপর, মডেল ডাউনলোড করার টাস্ক শুরু করুন, যে শর্তের অধীনে আপনি ডাউনলোড করার অনুমতি দিতে চান তা উল্লেখ করুন। মডেলটি ডিভাইসে না থাকলে বা মডেলের নতুন ভার্সন উপলভ্য থাকলে, টাস্কটি Firebase থেকে অ্যাসিঙ্ক্রোনাসভাবে মডেলটি ডাউনলোড করবে:
Swift
let downloadConditions = ModelDownloadConditions( allowsCellularAccess: true, allowsBackgroundDownloading: true ) let downloadProgress = ModelManager.modelManager().download( remoteModel, conditions: downloadConditions )
Objective-C
MLKModelDownloadConditions *downloadConditions = [[MLKModelDownloadConditions alloc] initWithAllowsCellularAccess:YES allowsBackgroundDownloading:YES]; NSProgress *downloadProgress = [[MLKModelManager modelManager] downloadModel:remoteModel conditions:downloadConditions];
অনেক অ্যাপ তাদের ইনিশিয়ালাইজেশন কোডে ডাউনলোডের টাস্ক শুরু করে, কিন্তু আপনি মডেল ব্যবহার করার আগে যেকোনও সময় তা করতে পারেন।
আপনার মডেল থেকে একটি ইমেজ লেবেলার তৈরি করুন
আপনার মডেল সোর্স কনফিগার করার পরে, সেগুলির মধ্যে একটি থেকে ImageLabeler অবজেক্ট
তৈরি করুন।
আপনার কাছে শুধু লোকাল-বান্ডেল করা মডেল থাকলে, আপনার AutoMLImageLabelerLocalModel অবজেক্ট থেকে
শুধু একটি লেবেলার তৈরি করুন এবং আপনার প্রয়োজনীয় কনফিডেন্স স্কোর থ্রেশহোল্ড
কনফিগার করুন (আপনার মোড মূল্যায়ন করুন দেখুন:
Swift
let options = AutoMLImageLabelerOptions(localModel: localModel) options.confidenceThreshold = NSNumber(value: 0.0) // Evaluate your model in the Firebase console // to determine an appropriate value. let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKAutoMLImageLabelerOptions *options = [[MLKAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel]; options.confidenceThreshold = @(0.0); // Evaluate your model in the Firebase console // to determine an appropriate value. MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
আপনার কাছে রিমোটলি-হোস্ট করা মডেল থাকলে, সেটি চালানোর আগে আপনাকে চেক করে দেখতে হবে যে সেটি ডাউনলোড করা হয়েছে কিনা। আপনি মডেল ম্যানেজারের isModelDownloaded(remoteModel:) পদ্ধতি ব্যবহার করে মডেল ডাউনলোড
টাস্কের স্ট্যাটাস চেক করতে পারবেন।
যদিও লেবেলার চালানোর আগে আপনাকে শুধু এটি কনফার্ম করতে হবে, আপনার কাছে রিমোটলি-হোস্ট করা মডেল এবং লোকালি-বান্ডেল করা মডেল, দুটিই থাকলে, ImageLabeler ইনস্ট্যান্টিয়েট করার সময় এই চেকটি করা যুক্তিযুক্ত হতে পারে: রিমোট মডেল ডাউনলোড করা থাকলে, সেটি থেকে একটি লেবেলার তৈরি করুন, অন্যথায় লোকাল মডেল থেকে তৈরি করুন।
Swift
var options: AutoMLImageLabelerOptions! if (ModelManager.modelManager().isModelDownloaded(remoteModel)) { options = AutoMLImageLabelerOptions(remoteModel: remoteModel) } else { options = AutoMLImageLabelerOptions(localModel: localModel) } options.confidenceThreshold = NSNumber(value: 0.0) // Evaluate your model in the Firebase console // to determine an appropriate value. let imageLabeler = ImageLabeler.imageLabeler(options: options)
Objective-C
MLKAutoMLImageLabelerOptions *options; if ([[MLKModelManager modelManager] isModelDownloaded:remoteModel]) { options = [[MLKAutoMLImageLabelerOptions alloc] initWithRemoteModel:remoteModel]; } else { options = [[MLKAutoMLImageLabelerOptions alloc] initWithLocalModel:localModel]; } options.confidenceThreshold = @(0.0); // Evaluate your model in the Firebase console // to determine an appropriate value. MLKImageLabeler *imageLabeler = [MLKImageLabeler imageLabelerWithOptions:options];
আপনার কাছে শুধুমাত্র রিমোটলি-হোস্ট করা মডেল থাকলে, মডেল ডাউনলোড হয়েছে কিনা তা কনফার্ম না করা পর্যন্ত মডেল-সম্পর্কিত কার্যকারিতা বন্ধ করে দেওয়া উচিত—যেমন, আপনার UI-এর অংশ গ্রে-আউট বা লুকানো।
ডিফল্ট বিজ্ঞপ্তি কেন্দ্রে অবজারভার অ্যাটাচ করে আপনি মডেল ডাউনলোড স্ট্যাটাস পেতে পারেন। অবজারভার ব্লকে self-এর জন্য দুর্বল রেফারেন্স ব্যবহার করতে ভুলবেন না, কারণ ডাউনলোড হতে কিছুটা সময় লাগতে পারে এবং ডাউনলোড শেষ হওয়ার সময় অরিজিনেটিং অবজেক্ট ফ্রি হয়ে যেতে পারে। যেমন:
Swift
NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidSucceed, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel, model.name == "your_remote_model" else { return } // The model was downloaded and is available on the device } NotificationCenter.default.addObserver( forName: .mlkitModelDownloadDidFail, object: nil, queue: nil ) { [weak self] notification in guard let strongSelf = self, let userInfo = notification.userInfo, let model = userInfo[ModelDownloadUserInfoKey.remoteModel.rawValue] as? RemoteModel else { return } let error = userInfo[ModelDownloadUserInfoKey.error.rawValue] // ... }
Objective-C
__weak typeof(self) weakSelf = self; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidSucceedNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; MLKRemoteModel *model = note.userInfo[MLKModelDownloadUserInfoKeyRemoteModel]; if ([model.name isEqualToString:@"your_remote_model"]) { // The model was downloaded and is available on the device } }]; [NSNotificationCenter.defaultCenter addObserverForName:MLKModelDownloadDidFailNotification object:nil queue:nil usingBlock:^(NSNotification *_Nonnull note) { if (weakSelf == nil | note.userInfo == nil) { return; } __strong typeof(self) strongSelf = weakSelf; NSError *error = note.userInfo[MLKModelDownloadUserInfoKeyError]; }];
২. ইনপুট ছবি প্রস্তুত করুন
UIImage বা CMSampleBuffer ব্যবহার করে একটি VisionImage অবজেক্ট তৈরি করুন।
আপনি UIImage ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:
UIImage-এর সাহায্যেVisionImageঅবজেক্ট তৈরি করুন। সঠিক.orientationউল্লেখ করতে ভুলবেন না।Swift
let image = VisionImage(image: UIImage) visionImage.orientation = image.imageOrientation
Objective-C
MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image]; visionImage.orientation = image.imageOrientation;
আপনি CMSampleBuffer ব্যবহার করলে, এইসব ধাপ অনুসরণ করুন:
-
CMSampleBuffer-এ থাকা ইমেজ ডেটার ওরিয়েন্টেশন নির্দিষ্ট করুন।ছবির ওরিয়েন্টেশন পেতে:
Swift
func imageOrientation( deviceOrientation: UIDeviceOrientation, cameraPosition: AVCaptureDevice.Position ) -> UIImage.Orientation { switch deviceOrientation { case .portrait: return cameraPosition == .front ? .leftMirrored : .right case .landscapeLeft: return cameraPosition == .front ? .downMirrored : .up case .portraitUpsideDown: return cameraPosition == .front ? .rightMirrored : .left case .landscapeRight: return cameraPosition == .front ? .upMirrored : .down case .faceDown, .faceUp, .unknown: return .up } }
Objective-C
- (UIImageOrientation) imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation cameraPosition:(AVCaptureDevicePosition)cameraPosition { switch (deviceOrientation) { case UIDeviceOrientationPortrait: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored : UIImageOrientationRight; case UIDeviceOrientationLandscapeLeft: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored : UIImageOrientationUp; case UIDeviceOrientationPortraitUpsideDown: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored : UIImageOrientationLeft; case UIDeviceOrientationLandscapeRight: return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored : UIImageOrientationDown; case UIDeviceOrientationUnknown: case UIDeviceOrientationFaceUp: case UIDeviceOrientationFaceDown: return UIImageOrientationUp; } }
CMSampleBufferঅবজেক্ট ও ওরিয়েন্টেশন ব্যবহার করেVisionImageঅবজেক্ট তৈরি করুন:Swift
let image = VisionImage(buffer: sampleBuffer) image.orientation = imageOrientation( deviceOrientation: UIDevice.current.orientation, cameraPosition: cameraPosition)
Objective-C
MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer]; image.orientation = [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation cameraPosition:cameraPosition];
৩. ইমেজ লেবেলার চালান
অ্যাসিঙ্ক্রোনাসভাবে:
Swift
imageLabeler.process(image) { labels, error in guard error == nil, let labels = labels, !labels.isEmpty else { // Handle the error. return } // Show results. }
Objective-C
[imageLabeler processImage:image completion:^(NSArray*_Nullable labels, NSError *_Nullable error) { if (labels.count == 0) { // Handle the error. return; } // Show results. }];
সিঙ্ক্রোনাসভাবে:
Swift
var labels: [ImageLabel] do { labels = try imageLabeler.results(in: image) } catch let error { // Handle the error. return } // Show results.
Objective-C
NSError *error; NSArray*labels = [imageLabeler resultsInImage:image error:&error]; // Show results or handle the error.
৪. লেবেল করা অবজেক্ট সম্পর্কে তথ্য পান
ইমেজ লেবেলিং অপারেশন সফল হলে, এটিImageLabel-এর একটি অ্যারে রিটার্ন করে। প্রতিটি ImageLabel এমন কিছুকে দেখায় যা
ছবিতে লেবেল করা হয়েছে। আপনি প্রতিটি লেবেলের টেক্সট বিবরণ (TensorFlow Lite মডেল ফাইলের মেটাডেটাতে উপলভ্য থাকলে), কনফিডেন্স স্কোর এবং ইন্ডেক্স পেতে পারেন।
যেমন:
Swift
for label in labels { let labelText = label.text let confidence = label.confidence let index = label.index }
Objective-C
for (MLKImageLabel *label in labels) { NSString *labelText = label.text; float confidence = label.confidence; NSInteger index = label.index; }
রিয়েল-টাইম পারফর্ম্যান্স উন্নত করার পরামর্শ
আপনি যদি রিয়েল-টাইম অ্যাপ্লিকেশনে ছবি লেবেল করতে চান, তাহলে সেরা ফ্রেমরেট পেতে এইসব নির্দেশিকা অনুসরণ করুন:
- ভিডিও ফ্রেম প্রসেস করার জন্য, ডিটেক্টরের
results(in:)সিঙ্ক্রোনাস API ব্যবহার করুন। প্রদত্ত ভিডিও ফ্রেম থেকে সিঙ্ক্রোনাসভাবে ফলাফল পেতেAVCaptureVideoDataOutputSampleBufferDelegate-এরcaptureOutput(_, didOutput:from:)ফাংশন থেকে এই পদ্ধতি কল করুন। ডিটেক্টরে কল থ্রটল করতেAVCaptureVideoDataOutput-এরalwaysDiscardsLateVideoFramestrueহিসেবে রাখুন। ডিটেক্টর চলাকালীন নতুন ভিডিও ফ্রেম উপলভ্য হলে, সেটি ড্রপ করা হবে। - ইনপুট ইমেজে গ্রাফিক্স ওভারলে করার জন্য আপনি যদি ডিটেক্টরের আউটপুট ব্যবহার করেন, তাহলে প্রথমে ML Kit থেকে ফলাফল পান, তারপর ইমেজ রেন্ডার করুন এবং একটি ধাপে ওভারলে করুন। এটি করার মাধ্যমে, আপনি প্রতিটি প্রসেস করা ইনপুট ফ্রেমের জন্য ডিসপ্লে সারফেসে শুধুমাত্র একবার রেন্ডার করেন। উদাহরণ হিসেবে ML Kit কুইকস্টার্ট স্যাম্পেলে updatePreviewOverlayViewWithLastFrame দেখুন।