การจดจําหมึกแบบดิจิทัล

API การจดจำหมึกดิจิทัลของ ML Kit ช่วยให้คุณจดจำข้อความที่เขียนด้วยลายมือและจัดประเภทท่าทางสัมผัสบนพื้นผิวดิจิทัลในหลายร้อยภาษา รวมถึงจำแนกภาพร่างด้วย API การจดจำหมึกดิจิทัลใช้เทคโนโลยีเดียวกับที่ขับเคลื่อนการจดจำลายมือใน Gboard, Google แปลภาษาและเกม Quick, Draw!

การจดจำหมึกแบบดิจิทัลช่วยให้คุณทำสิ่งต่อไปนี้ได้

• เขียนบนหน้าจอแทนการพิมพ์บนแป้นพิมพ์เสมือน ซึ่งช่วยให้ผู้ใช้สามารถวาดอักขระที่ไม่พร้อมใช้งานบนแป้นพิมพ์ได้ เช่น ệ, ¡ หรือ 森 สำหรับแป้นพิมพ์ตัวอักษรละติน
• ดำเนินการเกี่ยวกับข้อความพื้นฐาน (การนำทาง การแก้ไข การเลือก และอื่นๆ) โดยใช้ท่าทางสัมผัส
• จดจำรูปร่างและอีโมจิที่วาดด้วยมือ

การจดจำหมึกดิจิทัลใช้งานได้กับเส้นที่ผู้ใช้วาดบนหน้าจอ หากต้องการอ่านข้อความจากรูปภาพที่ถ่ายด้วยกล้อง ให้ใช้ Text Recognition API

การจดจำหมึกดิจิทัลทำงานแบบออฟไลน์ได้เต็มรูปแบบและรองรับ Android และ iOS

iOS Android

ความสามารถหลัก

• แปลงข้อความที่เขียนด้วยลายมือเป็นลำดับอักขระ Unicode
• ทำงานในอุปกรณ์ได้แบบเกือบเรียลไทม์
• การเขียนด้วยลายมือของผู้ใช้จะอยู่ในอุปกรณ์และมีการจดจำโดยไม่ต้องมีการเชื่อมต่อเครือข่าย
• รองรับกว่า 300 ภาษาและระบบการเขียนกว่า 25 ระบบ ดู รายชื่อภาษาทั้งหมดที่รองรับ
  • รองรับการจัดประเภทท่าทางสัมผัสสำหรับภาษาเหล่านี้ผ่านส่วนขยาย -x-gesture
• จดจำอีโมจิและรูปทรงพื้นฐาน
• ลดพื้นที่เก็บข้อมูลในอุปกรณ์โดยดาวน์โหลดแพ็กภาษาแบบไดนามิกตามต้องการ

เครื่องมือจดจำจะรับออบเจ็กต์ Ink เป็นอินพุต Ink คือการแสดงเวกเตอร์ของสิ่งที่ผู้ใช้เขียนบนหน้าจอ ซึ่งก็คือลำดับของเส้น แต่ละเส้นเป็นรายการพิกัดที่มีข้อมูลเวลาที่เรียกว่าจุดสัมผัส เส้นโครงร่างจะเริ่มขึ้นเมื่อผู้ใช้วางสไตลัสหรือนิ้วลงและสิ้นสุดเมื่อยกขึ้น มีการส่ง Ink ไปยังโปรแกรมจดจำ ซึ่งจะแสดงผลลัพธ์การจดจำที่เป็นไปได้อย่างน้อย 1 รายการพร้อมระดับความเชื่อมั่น

ตัวอย่าง

การเขียนด้วยลายมือภาษาอังกฤษ

รูปภาพด้านซ้ายด้านล่างแสดงสิ่งที่ผู้ใช้วาดบนหน้าจอ รูปภาพทางด้านขวาคือออบเจ็กต์ Ink ที่ตรงกัน โดยประกอบด้วยเส้นที่มีจุดสีแดง ซึ่งแสดงจุดสัมผัสภายในแต่ละเส้น

    

มี 4 สโตรก เส้น 2 เส้นแรกในออบเจ็กต์ Ink จะมีลักษณะดังนี้

หมึก
เส้นที่ 1	x	392, 391, 389, 287, ...
	y	52, 60, 76, 97, ...
	t	0, 37, 56, 75, ...
เส้นที่ 2	x	497, 494, 493, 490, ...
	y	167, 165, 165, 165, ...
	t	694, 742, 751, 770, ...
...

เมื่อส่ง Ink ไปยังโปรแกรมจดจำสำหรับภาษาอังกฤษ ระบบจะแสดงการถอดเสียงเป็นคำที่เป็นไปได้หลายรายการ ซึ่งมีอักขระ 5 หรือ 6 ตัว จะเรียงลำดับตามการลดทอนความเชื่อมั่น ดังนี้

RecognitionResult
ตัวเลือกที่ยอมรับ #1	Handw
ตัวเลือกที่ยอมรับ #2	Handrw
ตัวเลือกที่ยอมรับ #3	Hardw
ตัวเลือกที่ยอมรับ #4	แฮนด์ดู
ตัวเลือกที่ยอมรับ #5	Handwe

ท่าทางสัมผัส

ตัวแยกประเภทท่าทางสัมผัสจะจัดประเภทเส้นหมึกเป็น 1 ใน 9 คลาสท่าทางสัมผัสตามรายการด้านล่าง

ท่าทางสัมผัส	ตัวอย่าง
arch:above arch:below
caret:above caret:below
circle
Corner:downleft
scribble
strike
verticalbar
writing

หมายเหตุ: การแยกความแตกต่างของท่าทางสัมผัสบางอย่างกับการเขียนเป็นไปไม่ได้เสมอไป เช่น ท่าทางสัมผัส verticalbar อาจดูเหมือนตัวเลข 1 หรือตัวอักษร l ทุกประการเมื่อเขียนเป็นเส้นแนวตั้ง หากต้องการให้ผู้ใช้ใช้ทั้งท่าทางสัมผัสและการเขียนได้ แอปพลิเคชันของคุณอาจต้องพิจารณาตำแหน่งการเขียนหรือท่าทางสัมผัส สำหรับการเขียนบนข้อความที่มีอยู่ เราขอแนะนำให้ใช้การตีความด้วยท่าทางสัมผัส สำหรับการเขียนบนพื้นที่ว่าง ให้ใช้การตีความข้อความ

ภาพร่างอีโมจิ

รูปภาพด้านซ้ายด้านล่างแสดงสิ่งที่ผู้ใช้วาดบนหน้าจอ รูปภาพทางด้านขวาคือออบเจ็กต์ Ink ที่ตรงกัน โดยประกอบด้วยเส้นที่มีจุดสีแดง ซึ่งแสดงจุดสัมผัสภายในแต่ละเส้น

    

วัตถุ Ink มี 6 เส้น

           

หมึก
เส้นที่ 1	x	269, 266, 262, 255, ...
	y	40, 40, 40, 41, ...
	t	0, 36, 56, 75, ...
เส้นที่ 2	x	179, 182, 183, 185, ...
	y	157, 158, 159, 160, ...
	t	2475, 2522, 2531, 2541, ...
...

เมื่อส่ง Ink นี้ไปยังโปรแกรมจดจำอีโมจิ คุณจะได้รับการถอดเสียงที่เป็นไปได้หลายรายการ ซึ่งเรียงลำดับตามการลดความเชื่อมั่นดังนี้

RecognitionResult
ตัวเลือกที่ยอมรับ #1	😂 (U+1f62d)
ตัวเลือกที่ยอมรับ #2	😅 (U+1f605)
ตัวเลือกที่ยอมรับ #3	😹 (U+1f639)
ตัวเลือกที่ยอมรับ #4	ล้อเลียน (U+1f604)
ตัวเลือกที่ยอมรับ #5	😉 (U+1f606)