GenAI API ของ ML Kit ใช้ประโยชน์จากประสิทธิภาพของ Gemini Nano เพื่อช่วยให้แอปของคุณ ทำงานต่างๆ ได้ API เหล่านี้มอบคุณภาพที่พร้อมใช้งานสำหรับกรณีการใช้งานยอดนิยมผ่านอินเทอร์เฟซระดับสูง ML Kit GenAI API สร้างขึ้นบน AICore ซึ่งเป็นบริการระบบ Android ที่ช่วยให้สามารถเรียกใช้โมเดลพื้นฐานของ GenAI ในอุปกรณ์เพื่ออำนวยความสะดวกในการใช้ฟีเจอร์ต่างๆ เช่น ฟังก์ชันการทำงานของแอปที่ได้รับการปรับปรุงและความเป็นส่วนตัวของผู้ใช้ที่ดียิ่งขึ้นด้วยการประมวลผลข้อมูลในอุปกรณ์
ข้อกำหนดในการให้บริการเพิ่มเติมของ ML Kit GenAI API มีผลกับการใช้ GenAI API นักพัฒนาแอปมีหน้าที่รับผิดชอบแต่เพียงผู้เดียวต่อความปลอดภัยของไคลเอ็นต์ API และประสบการณ์ของผู้ใช้แอป
ฟีเจอร์หลัก
ML Kit GenAI API รองรับฟีเจอร์ต่อไปนี้
- การสรุป: สรุปบทความหรือการสนทนาในแชทเป็นรายการแบบมีสัญลักษณ์แสดงหัวข้อย่อย
- การพิสูจน์อักษร: ปรับปรุงเนื้อหาสั้นๆ โดยปรับไวยากรณ์และแก้ไขข้อผิดพลาดในการสะกด
- การเขียนใหม่: เขียนข้อความสั้นๆ ใหม่ในโทนเสียงหรือสไตล์ต่างๆ
- คำอธิบายรูปภาพ: สร้างคำอธิบายสั้นๆ ของรูปภาพที่กำหนด
- การจดจำคำพูด: ถอดเสียงเป็นข้อความ
- พรอมต์: สร้างเนื้อหาข้อความตาม พรอมต์แบบข้อความเท่านั้นหรือพรอมต์มัลติโมดัลที่กำหนดเอง
ประโยชน์ของ GenAI API
GenAI API ทำงานในอุปกรณ์ทั้งหมดเช่นเดียวกับฟีเจอร์อื่นๆ ของ ML Kit ที่มีอยู่ จึงมีประโยชน์ดังนี้
- ประมวลผลข้อมูลอินพุต การอนุมาน และเอาต์พุตในอุปกรณ์
- ฟังก์ชันการทำงานยังคงเหมือนเดิมแม้ไม่มีการเชื่อมต่ออินเทอร์เน็ตที่เสถียร
- ไม่มีค่าใช้จ่ายเซิร์ฟเวอร์เพิ่มเติมสำหรับการเรียก API แต่ละครั้ง
นอกจากนี้ เนื่องจาก GenAI API สร้างขึ้นบน AICore และขับเคลื่อนโดย Gemini Nano ทุกแอปจึงใช้โมเดล Gemini Nano ที่แชร์กันซึ่งอยู่ในอุปกรณ์ได้ ซึ่งจะช่วยหลีกเลี่ยงไม่ให้ต้องรอการดาวน์โหลดโมเดลหากมีโมเดลอยู่ในอุปกรณ์อยู่แล้ว และช่วยประหยัดพื้นที่เก็บข้อมูล ดูข้อมูลเพิ่มเติมเกี่ยวกับวิธีที่ AICore แยกคำขอเพื่อปกป้องความเป็นส่วนตัว
การสตรีมเทียบกับการไม่สตรีม
ML Kit GenAI API มีตัวเลือกทั้งการสตรีมและไม่สตรีมสำหรับการรับผลลัพธ์ API การสตรีมจะส่งการตอบกลับทีละส่วนเมื่อมีการสร้างการตอบกลับ ซึ่งจะทำให้ข้อมูลไหลเวียนอย่างต่อเนื่อง ในทางตรงกันข้าม API ที่ไม่สตรีมจะรอจนกว่าการตอบกลับทั้งหมดจะเสร็จสมบูรณ์ก่อนที่จะส่งการตอบกลับเป็นบล็อกเดียว
เลือก API การสตรีมสำหรับการตอบกลับที่ยาว เนื่องจากช่วยให้ได้รับความคิดเห็นเริ่มต้นได้เร็วขึ้น API ที่ไม่สตรีมเหมาะสำหรับคำตอบสั้นๆ หรือเมื่อประมวลผลผลลัพธ์เป็นชุด
การรองรับอุปกรณ์
API เฉพาะฟีเจอร์ GenAI (การสรุป การพิสูจน์อักษร การเขียนใหม่ และคำอธิบายรูปภาพ) มีการรองรับอุปกรณ์ที่แตกต่างจาก Prompt API ตามที่อธิบายไว้ในส่วนต่อไปนี้
การรองรับอุปกรณ์ของ API เฉพาะฟีเจอร์
API การสรุป การพิสูจน์อักษร การเขียนใหม่ และคำอธิบายรูปภาพพร้อมใช้งานในอุปกรณ์ต่อไปนี้ และเรามีแผนที่จะขยายการรองรับไปยังอุปกรณ์เพิ่มเติม
- Google: Pixel 10, Pixel 10 Pro, Pixel 10 Pro XL, Pixel 10 Pro Fold, Pixel 9, Pixel 9 Pro, Pixel 9 Pro XL, Pixel 9 Pro Fold
- Honor: Honor 400 Pro, Magic 7, Magic 7 Pro, Magic 8 Pro, Magic V5
- iQOO: iQOO 13, iQOO 15
- Lenovo: Lenovo Idea Tab Pro Gen 2, Lenovo Legion Tab Gen 5(8.8")
- Motorola: Razr 60 Ultra, Razr Ultra 2025, Signature
- OnePlus: OnePlus 15, OnePlus 15R, OnePlus 13, OnePlus 13s
- OPPO: Find N5, Find X9, Find X9 Pro, Find X8, Find X8 Pro, Reno 14 Pro 5G, Reno 15 Pro 5G, Reno 15 Pro Mini 5G, Reno 15 Pro Max 5G
- POCO: POCO F7 Ultra, POCO F8 Pro, POCO F8 Ultra, POCO X7 Pro, POCO X8 Pro
- realme: realme GT 7 Pro, realme GT 7T
- Samsung: Galaxy S25, Galaxy S25+, Galaxy S25 Ultra, Galaxy S26, Galaxy S26+, Galaxy S26 Ultra, Galaxy Z Fold7, Galaxy Z TriFold
- vivo: vivo X200T, vivo X200 FE, vivo X200, vivo X200 Pro, vivo X300, X300 Pro, vivo X Fold3 Pro, vivo X Fold5, vivo T4 Ultra
- Xiaomi: Xiaomi 14T Pro, Xiaomi 15, Xiaomi 15T, Xiaomi 15T Pro, Xiaomi 15 Ultra, Xiaomi 17, Xiaomi 17 Ultra, Xiaomi Pad Mini
ความพร้อมใช้งานของการรองรับภาษาที่เฉพาะเจาะจงอาจแตกต่างกันไปตามการกำหนดค่าของอุปกรณ์แต่ละเครื่องและโมเดลที่ดาวน์โหลดลงในอุปกรณ์
การรองรับอุปกรณ์ของ Prompt API
Prompt API รองรับอุปกรณ์ต่อไปนี้
nano-v2 |
|
nano-v3 |
|
การรองรับอุปกรณ์ของ Speech Recognition API
Speech Recognition API รองรับอุปกรณ์ต่อไปนี้
| โหมดพื้นฐาน | ใช้โมเดลการจดจำคำพูดแบบเดิมในอุปกรณ์ ซึ่งพร้อมใช้งานใน อุปกรณ์ Android ส่วนใหญ่ที่มีระดับ API 31 ขึ้นไป |
|---|---|
| โหมดขั้นสูง | ใช้ประโยชน์จากโมเดล GenAI เพื่อคุณภาพที่สูงขึ้นและการครอบคลุมภาษาที่กว้างขึ้น รองรับโดยอุปกรณ์ Pixel 10 และเรากำลังพัฒนาการรองรับอุปกรณ์เพิ่มเติม |
ดึงข้อมูลเวอร์ชัน Gemini Nano
Gemini Nano เวอร์ชันต่างๆ ทำงานบนอุปกรณ์ที่แตกต่างกัน หากต้องการแสดงเวอร์ชันของ Gemini Nano ในอุปกรณ์ ให้ใช้ getBaseModelName()
โควต้าต่อแอปพลิเคชัน
AICore บังคับใช้โควต้าการอนุมานต่อแอป การส่งคำขอ GenAI API มากเกินไปในช่วงเวลาสั้นๆ จะส่งผลให้ได้รับการตอบกลับ ErrorCode.BUSY เมื่อได้รับข้อผิดพลาดดังกล่าว ให้พิจารณาใช้ Exponential Backoff เพื่อลองส่งคำขออีกครั้ง นอกจากนี้ ระบบยังแสดง ErrorCode.PER_APP_BATTERY_USE_QUOTA_EXCEEDED ได้หากแอปใช้โควต้าเกินระยะเวลานาน (เช่น โควต้าประจำวัน)
การใช้งานเบื้องหลัง
การอนุมาน GenAI API จะได้รับอนุญาตเฉพาะเมื่อแอปเป็นแอปพลิเคชันเบื้องหน้าด้านบนสุด การใช้ API เมื่อแอปไม่ได้ทำงานอยู่เบื้องหน้า รวมถึงการใช้บริการที่ทำงานอยู่เบื้องหน้า จะส่งผลให้ได้รับการตอบกลับ ErrorCode.BACKGROUND_USE_BLOCKED
โค้ดตัวอย่าง
หากต้องการรับโค้ดนี้ โปรดดูตัวอย่างต่อไปนี้