iOS पर ML Kit की मदद से इमेज में मौजूद टेक्स्ट की पहचान करना

संग्रह की मदद से व्यवस्थित रहें अपनी प्राथमिकताओं के आधार पर, कॉन्टेंट को सेव करें और कैटगरी में बांटें.

आप एमएल किट का इस्तेमाल करके इमेज या वीडियो में दिए गए टेक्स्ट को पहचान सकते हैं, जैसे कि स्ट्रीट साइन का टेक्स्ट. इस सुविधा की मुख्य विशेषताएं ये हैं:

टेक्स्ट रिकग्निशन v2 एपीआई
जानकारीइमेज या वीडियो में मौजूद टेक्स्ट को पहचानने के साथ-साथ, लैटिन, चाइनीज़, देवनागरी, जैपनीज़, और कोरियन स्क्रिप्ट के साथ-साथ, कई तरह की भाषाओं का इस्तेमाल करें.
SDK टूल के नामGoogleMLKit/TextRecognition
GoogleMLKit/TextRecognitionChinese
GoogleMLKit/TextRecognitionDevanagari
GoogleMLKit/TextRecognitionJapanese
GoogleMLKit/TextRecognitionKorean
लागू करनाएसेट, बिल्ड के समय आपके ऐप्लिकेशन से स्टैटिक रूप से लिंक होते हैं
ऐप्लिकेशन के साइज़ पर असरहर स्क्रिप्ट के SDK टूल के लिए करीब 38 एमबी
परफ़ॉर्मेंसलैटिन स्क्रिप्ट SDK के लिए ज़्यादातर डिवाइस पर रीयल-टाइम, दूसरों के लिए धीमा.

शुरू करने से पहले

  1. अपनी Podfile में, इन एमएल किट पॉड शामिल करें:
    # To recognize Latin script
    pod 'GoogleMLKit/TextRecognition', '3.2.0'
    # To recognize Chinese script
    pod 'GoogleMLKit/TextRecognitionChinese', '3.2.0'
    # To recognize Devanagari script
    pod 'GoogleMLKit/TextRecognitionDevanagari', '3.2.0'
    # To recognize Japanese script
    pod 'GoogleMLKit/TextRecognitionJapanese', '3.2.0'
    # To recognize Korean script
    pod 'GoogleMLKit/TextRecognitionKorean', '3.2.0'
    
  2. अपने प्रोजेक्ट को अपडेट करने या अपडेट करने के लिए, उसके .xcworkspace का इस्तेमाल करके Xcode प्रोजेक्ट खोलें. Xcode वर्शन 12.4 या इसके बाद के वर्शन में ML किट काम करती है.

1. TextRecognizer का इंस्टेंस बनाएं

ऊपर दिए गए डिपेंडेंसी के तौर पर, SDK टूल से जुड़े विकल्पों को पास करते हुए, +textRecognizer(options:) पर कॉल करके TextRecognizer का एक इंस्टेंस बनाएं:

Swift

// When using Latin script recognition SDK
let latinOptions = TextRecognizerOptions()
let latinTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Chinese script recognition SDK
let chineseOptions = ChineseTextRecognizerOptions()
let chineseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Devanagari script recognition SDK
let devanagariOptions = DevanagariTextRecognizerOptions()
let devanagariTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Japanese script recognition SDK
let japaneseOptions = JapaneseTextRecognizerOptions()
let japaneseTextRecognizer = TextRecognizer.textRecognizer(options:options)

// When using Korean script recognition SDK
let koreanOptions = KoreanTextRecognizerOptions()
let koreanTextRecognizer = TextRecognizer.textRecognizer(options:options)

Objective-C

// When using Latin script recognition SDK
MLKTextRecognizerOptions *latinOptions = [[MLKTextRecognizerOptions alloc] init];
MLKTextRecognizer *latinTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Chinese script recognition SDK
MLKChineseTextRecognizerOptions *chineseOptions = [[MLKChineseTextRecognizerOptions alloc] init];
MLKTextRecognizer *chineseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Devanagari script recognition SDK
MLKDevanagariTextRecognizerOptions *devanagariOptions = [[MLKDevanagariTextRecognizerOptions alloc] init];
MLKTextRecognizer *devanagariTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Japanese script recognition SDK
MLKJapaneseTextRecognizerOptions *japaneseOptions = [[MLKJapaneseTextRecognizerOptions alloc] init];
MLKTextRecognizer *japaneseTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

// When using Korean script recognition SDK
MLKKoreanTextRecognizerOptions *koreanOptions = [[MLKKoreanTextRecognizerOptions alloc] init];
MLKTextRecognizer *koreanTextRecognizer = [MLKTextRecognizer textRecognizerWithOptions:options];

2. इनपुट इमेज तैयार करें

TextRecognizer's process(_:completion:) तरीके की मदद से, इमेज को UIImage या CMSampleBufferRef के तौर पर पास करें:

UIImage या CMSampleBuffer का इस्तेमाल करके, VisionImage ऑब्जेक्ट बनाएं.

अगर आप UIImage का इस्तेमाल करते हैं, तो यह तरीका अपनाएं:

  • UIImage के साथ एक VisionImage ऑब्जेक्ट बनाएं. पक्का करें कि आपने सही .orientation डाला है.

    Swift

    let image = VisionImage(image: UIImage)
    visionImage.orientation = image.imageOrientation

    Objective-C

    MLKVisionImage *visionImage = [[MLKVisionImage alloc] initWithImage:image];
    visionImage.orientation = image.imageOrientation;

अगर आप CMSampleBuffer का इस्तेमाल करते हैं, तो यह तरीका अपनाएं:

  • CMSampleBuffer में शामिल इमेज डेटा का ओरिएंटेशन बताएं.

    इमेज का ओरिएंटेशन पाने के लिए:

    Swift

    func imageOrientation(
      deviceOrientation: UIDeviceOrientation,
      cameraPosition: AVCaptureDevice.Position
    ) -> UIImage.Orientation {
      switch deviceOrientation {
      case .portrait:
        return cameraPosition == .front ? .leftMirrored : .right
      case .landscapeLeft:
        return cameraPosition == .front ? .downMirrored : .up
      case .portraitUpsideDown:
        return cameraPosition == .front ? .rightMirrored : .left
      case .landscapeRight:
        return cameraPosition == .front ? .upMirrored : .down
      case .faceDown, .faceUp, .unknown:
        return .up
      }
    }
          

    Objective-C

    - (UIImageOrientation)
      imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                             cameraPosition:(AVCaptureDevicePosition)cameraPosition {
      switch (deviceOrientation) {
        case UIDeviceOrientationPortrait:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationLeftMirrored
                                                                : UIImageOrientationRight;
    
        case UIDeviceOrientationLandscapeLeft:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationDownMirrored
                                                                : UIImageOrientationUp;
        case UIDeviceOrientationPortraitUpsideDown:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationRightMirrored
                                                                : UIImageOrientationLeft;
        case UIDeviceOrientationLandscapeRight:
          return cameraPosition == AVCaptureDevicePositionFront ? UIImageOrientationUpMirrored
                                                                : UIImageOrientationDown;
        case UIDeviceOrientationUnknown:
        case UIDeviceOrientationFaceUp:
        case UIDeviceOrientationFaceDown:
          return UIImageOrientationUp;
      }
    }
          
  • CMSampleBuffer ऑब्जेक्ट और ओरिएंटेशन का इस्तेमाल करके, VisionImage ऑब्जेक्ट बनाएं:

    Swift

    let image = VisionImage(buffer: sampleBuffer)
    image.orientation = imageOrientation(
      deviceOrientation: UIDevice.current.orientation,
      cameraPosition: cameraPosition)

    Objective-C

     MLKVisionImage *image = [[MLKVisionImage alloc] initWithBuffer:sampleBuffer];
     image.orientation =
       [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                    cameraPosition:cameraPosition];

3. इमेज को प्रोसेस करें

इसके बाद, इमेज को process(_:completion:) तरीके से पास करें:

Swift

textRecognizer.process(visionImage) { result, error in
  guard error == nil, let result = result else {
    // Error handling
    return
  }
  // Recognized text
}

Objective-C

[textRecognizer processImage:image
                  completion:^(MLKText *_Nullable result,
                               NSError *_Nullable error) {
  if (error != nil || result == nil) {
    // Error handling
    return;
  }
  // Recognized text
}];

4. पहचाने गए टेक्स्ट के ब्लॉक से टेक्स्ट निकालें

अगर टेक्स्ट की पहचान करने की कार्रवाई सफल होती है, तो यह Text ऑब्जेक्ट दिखाता है. Text ऑब्जेक्ट में इमेज का पूरा टेक्स्ट और शून्य या ज़्यादा TextBlock ऑब्जेक्ट शामिल होते हैं.

हर TextBlock, टेक्स्ट के एक आयताकार ब्लॉक के बारे में बताता है, जिसमें शून्य या उससे ज़्यादा TextLine ऑब्जेक्ट होते हैं. हर TextLine ऑब्जेक्ट में शून्य या उससे ज़्यादा TextElement ऑब्जेक्ट होते हैं. ये ऑब्जेक्ट, तारीख और संख्या जैसी शब्द और शब्द जैसी इकाइयां दिखाते हैं.

हर TextBlock, TextLine, और TextElement ऑब्जेक्ट के लिए, टेक्स्ट को क्षेत्र के साथ-साथ इलाके की सीमाओं से जुड़े निर्देशांकों में पहचाना जा सकता है.

उदाहरण के लिए:

Swift

let resultText = result.text
for block in result.blocks {
    let blockText = block.text
    let blockLanguages = block.recognizedLanguages
    let blockCornerPoints = block.cornerPoints
    let blockFrame = block.frame
    for line in block.lines {
        let lineText = line.text
        let lineLanguages = line.recognizedLanguages
        let lineCornerPoints = line.cornerPoints
        let lineFrame = line.frame
        for element in line.elements {
            let elementText = element.text
            let elementCornerPoints = element.cornerPoints
            let elementFrame = element.frame
        }
    }
}

Objective-C

NSString *resultText = result.text;
for (MLKTextBlock *block in result.blocks) {
  NSString *blockText = block.text;
  NSArray<MLKTextRecognizedLanguage *> *blockLanguages = block.recognizedLanguages;
  NSArray<NSValue *> *blockCornerPoints = block.cornerPoints;
  CGRect blockFrame = block.frame;
  for (MLKTextLine *line in block.lines) {
    NSString *lineText = line.text;
    NSArray<MLKTextRecognizedLanguage *> *lineLanguages = line.recognizedLanguages;
    NSArray<NSValue *> *lineCornerPoints = line.cornerPoints;
    CGRect lineFrame = line.frame;
    for (MLKTextElement *element in line.elements) {
      NSString *elementText = element.text;
      NSArray<NSValue *> *elementCornerPoints = element.cornerPoints;
      CGRect elementFrame = element.frame;
    }
  }
}

इनपुट इमेज के लिए दिशा-निर्देश

  • टेक्स्ट को सही तरीके से पहचानने के लिए, एमएल किट में ऐसा टेक्स्ट होना चाहिए जो ज़रूरी पिक्सल डेटा से दिखाया गया हो. आम तौर पर, हर वर्ण कम से कम 16x16 पिक्सल का होना चाहिए. आम तौर पर, 24x24 पिक्सल से बड़े वर्ण इस्तेमाल करने के लिए, सटीक जानकारी उपलब्ध नहीं होती है.

    इसलिए, उदाहरण के लिए, 640x480 डिग्री वाली इमेज उस बिज़नेस कार्ड को स्कैन करने के लिए अच्छा काम कर सकती है जिसमें इमेज की पूरी चौड़ाई होती है. लेटर-साइज़ के पेपर पर प्रिंट किए गए दस्तावेज़ को स्कैन करने के लिए, 720x1280 पिक्सल की इमेज की ज़रूरत पड़ सकती है.

  • इमेज का खराब फ़ोकस, टेक्स्ट की पहचान के सटीक होने पर असर डाल सकता है. अगर आपको स्वीकार किए जाने वाले नतीजे नहीं मिल रहे हैं, तो उपयोगकर्ता से इमेज को फिर से लोड करने के लिए कहें.

  • अगर आप रीयल-टाइम ऐप्लिकेशन में टेक्स्ट की पहचान कर रहे हैं, तो आपको इनपुट इमेज के सभी डाइमेंशन को ध्यान में रखना चाहिए. छोटी इमेज तेज़ी से प्रोसेस की जा सकती हैं. इंतज़ार का समय कम करने के लिए, पक्का करें कि टेक्स्ट के साथ इमेज ज़्यादा से ज़्यादा शामिल हो. साथ ही, इमेज को कम रिज़ॉल्यूशन में कैप्चर करें (ध्यान रखें कि ऊपर बताई गई सटीक जानकारी का इस्तेमाल किया जाए). ज़्यादा जानकारी के लिए, परफ़ॉर्मेंस को बेहतर बनाने के लिए सलाह देखें.

परफ़ॉर्मेंस को बेहतर बनाने के लिए सलाह

  • वीडियो फ़्रेम प्रोसेस करने के लिए, पहचानकर्ता का results(in:) सिंक्रोनस एपीआई इस्तेमाल करें. दिए गए वीडियो फ़्रेम से सिंक करने के नतीजे पाने के लिए, AVCaptureVideoDataOutputSampleBufferDelegate's captureOutput(_, didOutput:from:) फ़ंक्शन से इस तरीके का इस्तेमाल करें. कॉल को थ्रॉटल करने के लिए, AVCaptureVideoDataOutput's के alwaysDiscardsLateVideoFrames को true के तौर पर रखें. अगर पहचानने वाले के चलने के दौरान कोई नया वीडियो फ़्रेम उपलब्ध होता है, तो उसे छोड़ दिया जाएगा.
  • अगर आप इनपुट इमेज पर ग्राफ़िक दिखाने के लिए पहचानकर्ता का इस्तेमाल करते हैं, तो पहले एमएल किट से नतीजा पाएं. इसके बाद, एक ही चरण में इमेज और ओवरले को रेंडर करें. ऐसा करने का मतलब है कि आप प्रोसेस किए गए हर इनपुट फ़्रेम के लिए, डिसप्ले प्लैटफ़ॉर्म को सिर्फ़ एक बार रेंडर करते हैं. उदाहरण के लिए, ML Kit के क्विकस्टार्ट सैंपल में, updatepreviewOverlayViewWithLastFrame देखें.
  • कम रिज़ॉल्यूशन वाली इमेज कैप्चर करें. हालांकि, इस एपीआई की इमेज डाइमेंशन से जुड़ी ज़रूरी शर्तों को भी ध्यान में रखें.
  • परफ़ॉर्मेंस में गिरावट से बचने के लिए, एक साथ कई TextRecognizer इंस्टेंस न चलाएं.