Mit der digitalen Tintenerkennung von ML Kit können Sie handschriftliche Texte auf einer digitalen Oberfläche in Hunderten von Sprachen erkennen und Skizzen klassifizieren.
Ausprobieren
- Probieren Sie die Beispiel-App aus, um eine Beispielanwendung für diese API zu sehen.
Hinweis
Fügen Sie die folgenden ML Kit-Bibliotheken in Ihre Podfile-Datei ein:
pod 'GoogleMLKit/DigitalInkRecognition', '3.2.0'Nachdem Sie die Pods Ihres Projekts installiert oder aktualisiert haben, öffnen Sie Ihr Xcode-Projekt mit seiner
.xcworkspace. ML Kit wird in Xcode Version 13.2.1 oder höher unterstützt.
Sie können jetzt mit der Texterkennung in Ink-Objekten beginnen.
Ink-Objekt erstellen
Die Hauptmethode zum Erstellen eines Ink-Objekts besteht darin, es auf einen Touchscreen zu zeichnen. Unter iOS können Sie UIImageView zusammen mit Touch-Event-Handlern verwenden, die die Striche auf dem Bildschirm zeichnen und auch die Punkte der Striche speichern, um das Ink-Objekt zu erstellen. Dieses allgemeine Muster wird im folgenden Code-Snippet veranschaulicht. In der Schnellstart-App finden Sie ein umfassenderes Beispiel, in dem die Verwaltung von Berührungsereignissen, Bildschirmzeichnungen und Strichdaten getrennt wird.
Swift
@IBOutlet weak var mainImageView: UIImageView!
var kMillisecondsPerTimeInterval = 1000.0
var lastPoint = CGPoint.zero
private var strokes: [Stroke] = []
private var points: [StrokePoint] = []
func drawLine(from fromPoint: CGPoint, to toPoint: CGPoint) {
UIGraphicsBeginImageContext(view.frame.size)
guard let context = UIGraphicsGetCurrentContext() else {
return
}
mainImageView.image?.draw(in: view.bounds)
context.move(to: fromPoint)
context.addLine(to: toPoint)
context.setLineCap(.round)
context.setBlendMode(.normal)
context.setLineWidth(10.0)
context.setStrokeColor(UIColor.white.cgColor)
context.strokePath()
mainImageView.image = UIGraphicsGetImageFromCurrentImageContext()
mainImageView.alpha = 1.0
UIGraphicsEndImageContext()
}
override func touchesBegan(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
lastPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points = [StrokePoint.init(x: Float(lastPoint.x),
y: Float(lastPoint.y),
t: Int(t * kMillisecondsPerTimeInterval))]
drawLine(from:lastPoint, to:lastPoint)
}
override func touchesMoved(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
}
override func touchesEnded(_ touches: Set, with event: UIEvent?) {
guard let touch = touches.first else {
return
}
let currentPoint = touch.location(in: mainImageView)
let t = touch.timestamp
points.append(StrokePoint.init(x: Float(currentPoint.x),
y: Float(currentPoint.y),
t: Int(t * kMillisecondsPerTimeInterval)))
drawLine(from: lastPoint, to: currentPoint)
lastPoint = currentPoint
strokes.append(Stroke.init(points: points))
self.points = []
doRecognition()
}
Objective-C
// Interface @property (weak, nonatomic) IBOutlet UIImageView *mainImageView; @property(nonatomic) CGPoint lastPoint; @property(nonatomic) NSMutableArray*strokes; @property(nonatomic) NSMutableArray *points; // Implementations static const double kMillisecondsPerTimeInterval = 1000.0; - (void)drawLineFrom:(CGPoint)fromPoint to:(CGPoint)toPoint { UIGraphicsBeginImageContext(self.mainImageView.frame.size); [self.mainImageView.image drawInRect:CGRectMake(0, 0, self.mainImageView.frame.size.width, self.mainImageView.frame.size.height)]; CGContextMoveToPoint(UIGraphicsGetCurrentContext(), fromPoint.x, fromPoint.y); CGContextAddLineToPoint(UIGraphicsGetCurrentContext(), toPoint.x, toPoint.y); CGContextSetLineCap(UIGraphicsGetCurrentContext(), kCGLineCapRound); CGContextSetLineWidth(UIGraphicsGetCurrentContext(), 10.0); CGContextSetRGBStrokeColor(UIGraphicsGetCurrentContext(), 1, 1, 1, 1); CGContextSetBlendMode(UIGraphicsGetCurrentContext(), kCGBlendModeNormal); CGContextStrokePath(UIGraphicsGetCurrentContext()); CGContextFlush(UIGraphicsGetCurrentContext()); self.mainImageView.image = UIGraphicsGetImageFromCurrentImageContext(); UIGraphicsEndImageContext(); } - (void)touchesBegan:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; self.lastPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; self.points = [NSMutableArray array]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:self.lastPoint.x y:self.lastPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:self.lastPoint]; } - (void)touchesMoved:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; } - (void)touchesEnded:(NSSet *)touches withEvent:(nullable UIEvent *)event { UITouch *touch = [touches anyObject]; CGPoint currentPoint = [touch locationInView:self.mainImageView]; NSTimeInterval time = [touch timestamp]; [self.points addObject:[[MLKStrokePoint alloc] initWithX:currentPoint.x y:currentPoint.y t:time * kMillisecondsPerTimeInterval]]; [self drawLineFrom:self.lastPoint to:currentPoint]; self.lastPoint = currentPoint; if (self.strokes == nil) { self.strokes = [NSMutableArray array]; } [self.strokes addObject:[[MLKStroke alloc] initWithPoints:self.points]]; self.points = nil; [self doRecognition]; }
Das Code-Snippet enthält eine Beispielfunktion zum Zeichnen des Strichs in die UIImageView, die für Ihre Anwendung entsprechend angepasst werden sollte. Wir empfehlen, beim Zeichnen der Liniensegmente runde Kapseln zu verwenden, damit Segmente mit der Länge null als Punkt gezeichnet werden (Beispiel: der Punkt auf einem kleingeschriebenen i). Die Funktion doRecognition() wird nach dem Schreiben jedes Strichs aufgerufen und wird unten definiert.
Instanz von DigitalInkRecognizer abrufen
Für die Erkennung muss das Ink-Objekt an eine DigitalInkRecognizer-Instanz übergeben werden. Um die Instanz DigitalInkRecognizer zu erhalten, müssen Sie zuerst das Erkennungsmodell für die gewünschte Sprache herunterladen und das Modell in den RAM laden. Verwenden Sie dazu das folgende Code-Snippet, das der Einfachheit halber in der Methode viewDidLoad() platziert wird und einen hartcodierten Sprachnamen verwendet. In der Schnellstart-App finden Sie ein Beispiel dafür, wie Sie dem Nutzer die Liste der verfügbaren Sprachen anzeigen lassen und die ausgewählte Sprache herunterladen.
Swift
override func viewDidLoad() {
super.viewDidLoad()
let languageTag = "en-US"
let identifier = DigitalInkRecognitionModelIdentifier(forLanguageTag: languageTag)
if identifier == nil {
// no model was found or the language tag couldn't be parsed, handle error.
}
let model = DigitalInkRecognitionModel.init(modelIdentifier: identifier!)
let modelManager = ModelManager.modelManager()
let conditions = ModelDownloadConditions.init(allowsCellularAccess: true,
allowsBackgroundDownloading: true)
modelManager.download(model, conditions: conditions)
// Get a recognizer for the language
let options: DigitalInkRecognizerOptions = DigitalInkRecognizerOptions.init(model: model)
recognizer = DigitalInkRecognizer.digitalInkRecognizer(options: options)
}
Objective-C
- (void)viewDidLoad {
[super viewDidLoad];
NSString *languagetag = @"en-US";
MLKDigitalInkRecognitionModelIdentifier *identifier =
[MLKDigitalInkRecognitionModelIdentifier modelIdentifierForLanguageTag:languagetag];
if (identifier == nil) {
// no model was found or the language tag couldn't be parsed, handle error.
}
MLKDigitalInkRecognitionModel *model = [[MLKDigitalInkRecognitionModel alloc]
initWithModelIdentifier:identifier];
MLKModelManager *modelManager = [MLKModelManager modelManager];
[modelManager downloadModel:model conditions:[[MLKModelDownloadConditions alloc]
initWithAllowsCellularAccess:YES
allowsBackgroundDownloading:YES]];
MLKDigitalInkRecognizerOptions *options =
[[MLKDigitalInkRecognizerOptions alloc] initWithModel:model];
self.recognizer = [MLKDigitalInkRecognizer digitalInkRecognizerWithOptions:options];
}
Die Schnellstart-Apps enthalten zusätzlichen Code, der zeigt, wie mehrere Downloads gleichzeitig verarbeitet werden und wie Sie anhand der Abschlussbenachrichtigungen feststellen können, welcher Download erfolgreich war.
Ink-Objekt erkennen
Als Nächstes kommen wir zur Funktion doRecognition(), die der Einfachheit halber aus touchesEnded() aufgerufen wird. In anderen Anwendungen kann es erforderlich sein, die Erkennung nur nach einer Zeitüberschreitung oder wenn der Nutzer eine Schaltfläche drückt, um die Erkennung auszulösen.
Swift
func doRecognition() {
let ink = Ink.init(strokes: strokes)
recognizer.recognize(
ink: ink,
completion: {
[unowned self]
(result: DigitalInkRecognitionResult?, error: Error?) in
var alertTitle = ""
var alertText = ""
if let result = result, let candidate = result.candidates.first {
alertTitle = "I recognized this:"
alertText = candidate.text
} else {
alertTitle = "I hit an error:"
alertText = error!.localizedDescription
}
let alert = UIAlertController(title: alertTitle,
message: alertText,
preferredStyle: UIAlertController.Style.alert)
alert.addAction(UIAlertAction(title: "OK",
style: UIAlertAction.Style.default,
handler: nil))
self.present(alert, animated: true, completion: nil)
}
)
}
Objective-C
- (void)doRecognition {
MLKInk *ink = [[MLKInk alloc] initWithStrokes:self.strokes];
__weak typeof(self) weakSelf = self;
[self.recognizer
recognizeInk:ink
completion:^(MLKDigitalInkRecognitionResult *_Nullable result,
NSError *_Nullable error) {
typeof(weakSelf) strongSelf = weakSelf;
if (strongSelf == nil) {
return;
}
NSString *alertTitle = nil;
NSString *alertText = nil;
if (result.candidates.count > 0) {
alertTitle = @"I recognized this:";
alertText = result.candidates[0].text;
} else {
alertTitle = @"I hit an error:";
alertText = [error localizedDescription];
}
UIAlertController *alert =
[UIAlertController alertControllerWithTitle:alertTitle
message:alertText
preferredStyle:UIAlertControllerStyleAlert];
[alert addAction:[UIAlertAction actionWithTitle:@"OK"
style:UIAlertActionStyleDefault
handler:nil]];
[strongSelf presentViewController:alert animated:YES completion:nil];
}];
}
Modelldownloads verwalten
Wir haben bereits gesehen, wie ein Erkennungsmodell heruntergeladen wird. Die folgenden Code-Snippets veranschaulichen, wie Sie prüfen können, ob ein Modell bereits heruntergeladen wurde, oder ein Modell löschen, wenn es nicht mehr benötigt wird, um Speicherplatz freizugeben.
Prüfen, ob ein Modell bereits heruntergeladen wurde
Swift
let model : DigitalInkRecognitionModel = ... let modelManager = ModelManager.modelManager() modelManager.isModelDownloaded(model)
Objective-C
MLKDigitalInkRecognitionModel *model = ...; MLKModelManager *modelManager = [MLKModelManager modelManager]; [modelManager isModelDownloaded:model];
Heruntergeladenes Modell löschen
Swift
let model : DigitalInkRecognitionModel = ...
let modelManager = ModelManager.modelManager()
if modelManager.isModelDownloaded(model) {
modelManager.deleteDownloadedModel(
model!,
completion: {
error in
if error != nil {
// Handle error
return
}
NSLog(@"Model deleted.");
})
}
Objective-C
MLKDigitalInkRecognitionModel *model = ...;
MLKModelManager *modelManager = [MLKModelManager modelManager];
if ([self.modelManager isModelDownloaded:model]) {
[self.modelManager deleteDownloadedModel:model
completion:^(NSError *_Nullable error) {
if (error) {
// Handle error.
return;
}
NSLog(@"Model deleted.");
}];
}
Tipps zur Verbesserung der Genauigkeit der Texterkennung
Die Genauigkeit der Texterkennung kann je nach Sprache variieren. Genauigkeit hängt auch vom Schreibstil ab. Die digitale Tintenerkennung wurde für die Verarbeitung vieler Arten von Schreibstilen trainiert, die Ergebnisse können jedoch von Nutzer zu Nutzer variieren.
Im Folgenden finden Sie einige Möglichkeiten, die Genauigkeit der Texterkennung zu verbessern. Beachten Sie, dass diese Techniken nicht auf die Klassifikatoren für Zeichnungen für Emojis, AutoDraw und Formen anwendbar sind.
Schreibbereich
Viele Anwendungen haben einen klar definierten Schreibbereich für Benutzereingaben. Die Bedeutung eines Symbols wird zum Teil durch seine Größe im Verhältnis zur Größe des Schreibbereichs bestimmt, in dem es enthalten ist. Zum Beispiel die Differenz zwischen einem Klein- oder Großbuchstaben „o“ oder „c“ und einem Komma im Vergleich zu einem Schrägstrich.
Wenn Sie dem Erkennungsmodul die Breite und Höhe des Schreibbereichs mitteilen, kann die Genauigkeit verbessert werden. Die Erkennung geht jedoch davon aus, dass der Schreibbereich nur eine einzige Textzeile enthält. Wenn der physische Schreibbereich groß genug ist, um dem Nutzer das Schreiben von zwei oder mehr Zeilen zu ermöglichen, erzielen Sie möglicherweise bessere Ergebnisse, wenn Sie einen Schreibbereich mit einer Höhe übergeben, die Ihrer besten Schätzung der Höhe einer einzelnen Textzeile entspricht. Das WritingArea-Objekt, das Sie an die Erkennung übergeben, muss nicht genau mit dem physischen Schreibbereich auf dem Bildschirm übereinstimmen. Diese Änderung der WritingArea-Höhe funktioniert in einigen Sprachen besser als in anderen.
Geben Sie beim Festlegen des Schreibbereichs seine Breite und Höhe in denselben Einheiten wie bei den Strichkoordinaten an. Für die x- und y-Koordinatenargumente ist keine Einheit erforderlich. Die API normalisiert alle Einheiten, sodass nur die relative Größe und Position der Striche wichtig ist. Sie können Koordinaten in jedem für Ihr System sinnvollen Maßstab übergeben.
Vor dem Kontext
„Vorkontext“ ist der Text, der den Strichen in der Ink, die Sie erkennen möchten, direkt vorausgeht. Sie können der Erkennung helfen, indem Sie sie über den Vorkontext informieren.
Beispielsweise werden die Buchstaben „n“ und „u“ oft verwechselt. Wenn der Nutzer das Teilwort "arg" bereits eingegeben hat, kann er mit Strichen fortfahren, die als "ument" oder "nment" erkannt werden. Durch Angabe des Vorkontexts „arg“ wird die Mehrdeutigkeit beseitigt, da das Wort „Argument“ wahrscheinlicher ist als „argnment“.
Vor dem Kontext kann die Erkennung außerdem dabei helfen, Wortumbrüche zu erkennen, die Leerzeichen zwischen Wörtern. Sie können ein Leerzeichen eingeben, aber kein Zeichen zeichnen. Wie kann eine Erkennung also feststellen, wann ein Wort endet und das nächste beginnt? Wenn der Nutzer bereits „hello“ geschrieben hat und mit dem geschriebenen Wort „world“ fortfährt, gibt das Erkennungsmodul ohne Vorkontext den String „world“ zurück. Wenn Sie jedoch „hello“ vor dem Kontext angeben, gibt das Modell den String „world“ mit einem vorangestellten Leerzeichen zurück, da „hello world“ sinnvoller ist als „helloword“.
Geben Sie den längstmöglichen String vor dem Kontext an. Er darf maximal 20 Zeichen, einschließlich Leerzeichen, enthalten. Wenn der String länger ist, werden nur die letzten 20 Zeichen verwendet.
Das folgende Codebeispiel zeigt, wie Sie einen Schreibbereich definieren und ein RecognitionContext-Objekt verwenden, um einen Vorkontext festzulegen.
Swift
let ink: Ink = ...;
let recognizer: DigitalInkRecognizer = ...;
let preContext: String = ...;
let writingArea = WritingArea.init(width: ..., height: ...);
let context: DigitalInkRecognitionContext.init(
preContext: preContext,
writingArea: writingArea);
recognizer.recognizeHandwriting(
from: ink,
context: context,
completion: {
(result: DigitalInkRecognitionResult?, error: Error?) in
if let result = result, let candidate = result.candidates.first {
NSLog("Recognized \(candidate.text)")
} else {
NSLog("Recognition error \(error)")
}
})
Objective-C
MLKInk *ink = ...;
MLKDigitalInkRecognizer *recognizer = ...;
NSString *preContext = ...;
MLKWritingArea *writingArea = [MLKWritingArea initWithWidth:...
height:...];
MLKDigitalInkRecognitionContext *context = [MLKDigitalInkRecognitionContext
initWithPreContext:preContext
writingArea:writingArea];
[recognizer recognizeHandwritingFromInk:ink
context:context
completion:^(MLKDigitalInkRecognitionResult
*_Nullable result, NSError *_Nullable error) {
NSLog(@"Recognition result %@",
result.candidates[0].text);
}];
Strichanordnung
Die Genauigkeit der Erkennung hängt von der Reihenfolge der Striche ab. Die Erkennung erwartet, dass die Striche in der Reihenfolge auftreten, in der sie normalerweise schreiben, z. B. von links nach rechts für Englisch. Jeder Fall, der von diesem Muster abweicht, z. B. wenn ein englischer Satz mit dem letzten Wort beginnt, führt zu weniger genauen Ergebnissen.
Ein anderes Beispiel ist, wenn ein Wort mitten in einem Ink entfernt und durch ein anderes ersetzt wird. Die Überarbeitung befindet sich wahrscheinlich mitten in einem Satz, aber die Striche für die Überarbeitung befinden sich am Ende der Strichsequenz.
In diesem Fall empfehlen wir, das neu geschriebene Wort separat an die API zu senden und das Ergebnis mithilfe Ihrer eigenen Logik mit den vorherigen Erkennungen zusammenzuführen.
Umgang mit mehrdeutigen Formen
Es gibt Fälle, in denen die Bedeutung der Form, die der Erkennung zur Verfügung gestellt wird, nicht eindeutig ist. Ein Rechteck mit stark abgerundeten Kanten kann beispielsweise als Rechteck oder als Ellipse betrachtet werden.
Bei diesen unklaren Fällen können Sie entsprechende Bewertungen verwenden, wenn sie verfügbar sind. Nur Formklassifikatoren liefern Bewertungen. Wenn das Modell sehr sicher ist, ist die Punktzahl für das beste Ergebnis viel besser als das zweitbeste. Bei Unsicherheit liegen die Punktzahlen für die beiden besten Ergebnisse nahe. Beachten Sie auch, dass die Formklassifikatoren die gesamte Ink als einzelne Form interpretieren. Wenn Ink beispielsweise ein Rechteck und eine Ellipse nebeneinander enthält, kann die Erkennung das eine oder das andere (oder etwas völlig anderes) als Ergebnis zurückgeben, da ein einzelner Erkennungskandidat nicht zwei Formen darstellen kann.