ה-API לזיהוי דיו דיגיטלי של ML Kit מאפשר לזהות טקסט בכתב יד, ולסווג תנועות על משטח דיגיטלי במאות שפות, וגם לסווג שרטוטים. ממשק ה-API לזיהוי דיו דיגיטלי מבוסס על אותה טכנולוגיה שמאפשרת זיהוי כתב יד ב-Gboard, ב-Google Translate ובמשחק Quick, Draw!.
זיהוי דיו דיגיטלי מאפשר:
- לכתוב על המסך במקום להקליד במקלדת וירטואלית. כך המשתמשים יכולים לצייר תווים שלא זמינים במקלדת, למשל Available, अ או 森 במקלדות אלפבית לטיניות.
- ביצוע פעולות טקסט בסיסיות (ניווט, עריכה, בחירה וכו') באמצעות תנועות.
- לזהות צורות ואמוג'י שציירתם ביד.
זיהוי דיו דיגיטלי פועל עם ההקשות שהמשתמש מצייר על המסך. כדי לקרוא טקסט מתמונות שצולמו באמצעות המצלמה, השתמשו ב-Text Recognition API.
זיהוי דיו דיגיטלי פועל באופן מלא ללא חיבור לאינטרנט ונתמך ב-Android וב-iOS.
יכולות מפתח
- המרת טקסט בכתב יד לרצפים של תווי Unicode
- פועלת במכשיר כמעט בזמן אמת
- כתב היד של המשתמש נשאר במכשיר, הזיהוי מתבצע ללא חיבור לרשת
- יש תמיכה ביותר מ-300 שפות ויותר מ-25 מערכות כתיבה – אפשר לעיין
ברשימה המלאה של השפות הנתמכות
- תמיכה בסיווג תנועות לשפות האלה באמצעות
-x-gestureתוספים
- תמיכה בסיווג תנועות לשפות האלה באמצעות
- זיהוי של אמוג'י וצורות בסיסיות
- שמירה על נפח אחסון במכשיר נמוך באמצעות הורדה דינמית של חבילות שפה לפי הצורך
המזהה מקבל אובייקט Ink כקלט. Ink הוא ייצוג וקטורי של מה שהמשתמש כתב על המסך: רצף של קווים, שכל אחד מהם הוא רשימת קואורדינטות עם פרטי זמן שנקראים נקודות מגע. קו חוצה מתחיל כשהמשתמש מניח את הסטיילוס או האצבע למטה ומסתיים כשהוא מרים אותו. השדה Ink מועבר למזהה, ומחזיר תוצאות של זיהוי אפשרי אחת או יותר, ברמת סמך.
דוגמאות
כתב יד באנגלית
התמונה שמימין למטה מראה את מה שהמשתמש צייר על המסך. התמונה מימין היא האובייקט התואם מסוג Ink. הוא מכיל את הקווים עם נקודות אדומות שמייצגות את נקודות המגע בכל משיכה.
יש ארבע משיכות. שתי ההקשות הראשונות באובייקט Ink נראות כך:
| דיו | ||
|---|---|---|
| קו 1 | x
|
392, 391, 389, 287, ... |
y
|
52, 60, 76, 97, ... | |
t
|
0, 37, 56, 75, ... | |
| קו 2 | x
|
497, 494, 493, 490, ... |
y
|
167, 165, 165, 165, ... | |
t
|
694, 742, 751, 770, ... | |
| ... | ||
כששולחים את Ink לגורם מזהה בשפה האנגלית, הוא מחזיר
כמה תמלילים אפשריים, שמכילים חמישה או שישה תווים. הם מסודרים לפי רמת הסמך של ירידה:
| RecognitionResult | |
|---|---|
| מועמד להכרה מס' 1 | Handw |
| מועמד להכרה מס' 2 | Handrw |
| מועמד להכרה מס' 3 | Hardw |
| מועמד להכרה מס' 4 | Handu |
| מועמד להכרה מס' 5 | Handwe |
תנועות
מסווגי תנועות מסווגים את משיחת הדיו לאחת מתשע סוגי התנועות המפורטים בהמשך.
arch:abovearch:below |
 |
caret:abovecaret:below |
 |
circle |
 |
 |
|
scribble |
 |
strike |
 |
verticalbar |
 |
writing |
 |
רישומי אמוג'י
התמונה שמימין למטה מראה את מה שהמשתמש צייר על המסך. התמונה מימין היא האובייקט התואם מסוג Ink. הוא מכיל את הקווים עם נקודות אדומות שמייצגות את נקודות המגע בכל משיכה.
האובייקט Ink מכיל שש משיכות.
| דיו | ||
|---|---|---|
| קו 1 | x
|
269, 266, 262, 255, ... |
y
|
40, 40, 40, 41, ... | |
t
|
0, 36, 56, 75, ... | |
| קו 2 | x
|
179, 182, 183, 185, ... |
y
|
157, 158, 159, 160, ... | |
t
|
2475, 2522, 2531, 2541, ... | |
| ... | ||
כששולחים את Ink למזהה האמוג'י, מקבלים כמה
תמלילים אפשריים לפי סדר יורד של אמינות:
| RecognitionResult | |
|---|---|
| מועמד להכרה מס' 1 | 😂 (U+1f62d) |
| מועמד להכרה מס' 2 | 😅 (U+1f605) |
| מועמד להכרה מס' 3 | 😹 (U+1f639) |
| מועמד להכרה מס' 4 | 😄 (U+1f604) |
| מועמד להכרה מס' 5 | 😆 (U+1f606) |