Mit der digitalen Tintenerkennungs-API von ML Kit können Sie handschriftlichen Text erkennen, Gesten auf einer digitalen Oberfläche in Hunderten von Sprachen klassifizieren und Skizzen klassifizieren. Die digitale Tintenerkennungs-API verwendet dieselbe Technologie wie die Handschrifterkennung in Gboard, Google Übersetzer und im Quick, Draw!-Spiel.
Mit der digitalen Tintenerkennung können Sie:
- Statt über die Bildschirmtastatur schreiben Sie auf dem Bildschirm. Dadurch können Nutzer Zeichen zeichnen, die auf ihrer Tastatur nicht verfügbar sind, z. B. ệ, अ oder 森 für lateinische Buchstabentastaturen.
- Einfache Textoperationen (Navigation, Bearbeitung, Auswahl usw.) mit Touch-Gesten ausführen.
- Handgezeichnete Formen und Emojis erkennen.
Die digitale Tintenerkennung funktioniert mit den Strichen, die der Nutzer auf dem Bildschirm zeichnet. Wenn Sie Text aus Bildern lesen möchten, die mit der Kamera aufgenommen wurden, verwenden Sie die Text Recognition API.
Die digitale Tintenerkennung funktioniert vollständig offline und wird unter Android und iOS unterstützt.
Hauptfunktionen
- Wandelt handschriftlichen Text in Sequenzen von Unicode-Zeichen um
- Wird nahezu in Echtzeit auf dem Gerät ausgeführt
- Die Handschrift des Nutzers bleibt auf dem Gerät. Die Erkennung erfolgt ohne Netzwerkverbindung.
- Unterstützt mehr als 300 Sprachen und mehr als 25 Schreibsysteme; siehe vollständige Liste der unterstützten Sprachen
- Unterstützt die Klassifizierung von Bewegungen für diese Sprachen über
-x-gesture-Erweiterungen
- Unterstützt die Klassifizierung von Bewegungen für diese Sprachen über
- Erkennt Emojis und einfache Formen
- Geringer Speicherplatz auf dem Gerät durch dynamisches Herunterladen von Sprachpaketen nach Bedarf
Die Erkennung verwendet ein Ink-Objekt als Eingabe. Ink ist eine Vektordarstellung dessen, was der Nutzer auf dem Bildschirm geschrieben hat: eine Folge von Strichen, wobei jede eine Liste von Koordinaten mit Zeitinformationen ist, die als Touchpoints bezeichnet werden. Ein Schlaganfall beginnt, wenn der Nutzer seinen Eingabestift oder seinen Finger nach unten legt und endet, wenn er ihn anhebt. Die Ink wird an eine Erkennungsmethode übergeben, die ein oder mehrere Erkennungsergebnisse zurückgibt.
Beispiele
Englische Handschrift
Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild rechts ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Berührungspunkte jedes Strichs darstellen.
Es gibt vier Striche. Die ersten beiden Striche im Objekt Ink sehen so aus:
| Tinte | ||
|---|---|---|
| Strich 1 | x
|
392, 391, 389, 287, ... |
y
|
52, 60, 76, 97, ... | |
t
|
0, 37, 56, 75, ... | |
| Strich 2 | x
|
497, 494, 493, 490, ... |
y
|
167, 165, 165, 165 usw. | |
t
|
694, 742, 751, 770... | |
| … | ||
Wenn Sie dieses Ink an eine Erkennungsmethode für die englische Sprache senden, werden mehrere mögliche Transkriptionen mit fünf oder sechs Zeichen zurückgegeben. Sie werden durch abnehmende Konfidenz sortiert:
| RecognitionResult (Erkennungsergebnis) | |
|---|---|
| Anerkennungskandidaten 1 | Handw |
| Anerkennungskandidaten 2 | Handrw |
| Anerkennungskandidaten 3 | Hard |
| Anerkennungskandidaten 4 | Handu |
| Anerkennungskandidaten 5 | Handwe |
Touch-Gesten
Mit Gestenklassifikatoren wird ein Tintenstrich in eine von neun Gestenklassen eingeteilt:
arch:abovearch:below |
 |
caret:abovecaret:below |
 |
circle |
 |
 |
|
scribble |
 |
strike |
 |
verticalbar |
 |
writing |
 |
Emoji-Skizzen
Das Bild links unten zeigt, was der Nutzer auf dem Bildschirm gezeichnet hat. Das Bild rechts ist das entsprechende Ink-Objekt. Sie enthält die Striche mit roten Punkten, die die Berührungspunkte jedes Strichs darstellen.
Das Objekt Ink enthält sechs Striche.
| Tinte | ||
|---|---|---|
| Strich 1 | x
|
269, 266, 262, 255, ... |
y
|
40, 40, 40, 41, ... | |
t
|
0, 36, 56, 75, ... | |
| Strich 2 | x
|
179, 182, 183, 185, ... |
y
|
157, 158, 159, 160, ... | |
t
|
2475, 2522, 2531, 2541, ... | |
| … | ||
Wenn Sie dieses Ink an die Emoji-Erkennung senden, erhalten Sie mehrere mögliche Transkripte, die absteigend nach Konfidenzwert sortiert sind:
| RecognitionResult (Erkennungsergebnis) | |
|---|---|
| Anerkennungskandidaten 1 | mi (U+1f62d) |
| Anerkennungskandidaten 2 | 😅 (U+1f605) |
| Anerkennungskandidaten 3 | 😹 (U+1f639) |
| Anerkennungskandidaten 4 | 📲 (U+1f604) |
| Anerkennungskandidaten 5 | ・ (U + 1f606) |