ประเมินคุณภาพพรอมต์

การดูแลคุณภาพและความน่าเชื่อถือของพรอมต์เป็นสิ่งสำคัญเมื่อ ใช้ Prompt API

หากต้องการประเมินคุณภาพพรอมต์ คุณควรพัฒนาชุดอินพุตและเอาต์พุตที่คาดไว้ที่ครอบคลุมสำหรับกรณีการใช้งานของคุณ

หากต้องการประเมินว่าพรอมต์เป็นไปตามเกณฑ์คุณภาพของโมเดล Gemini Nano แต่ละเวอร์ชันหรือไม่ เราขอแนะนำให้ใช้เวิร์กโฟลว์ต่อไปนี้

  1. เรียกใช้ชุดข้อมูลการประเมินและบันทึกเอาต์พุต
  2. ประเมินผลลัพธ์ด้วยตนเองหรือใช้ LLM-as-a-judge
    1. หากการประเมินไม่เป็นไปตามเกณฑ์คุณภาพ ให้ทำซ้ำพรอมต์ เช่น ขอให้ LLM ที่มีประสิทธิภาพมากขึ้นอย่าง Gemini Pro ปรับปรุงพรอมต์ โดยอิงตามเอาต์พุตที่ต้องการเทียบกับเอาต์พุตจริง

การออกแบบพรอมต์ช่วยเพิ่มประสิทธิภาพของงาน และการทำซ้ำพรอมต์เป็นสิ่งสำคัญ เราขอแนะนำให้ทำตามขั้นตอนข้างต้นอย่างน้อย 3-5 ครั้ง โปรดทราบว่าแนวทางนี้มีข้อจำกัด เนื่องจากการเพิ่มประสิทธิภาพจะให้ผลตอบแทนที่ลดลงในที่สุด

หรือหากต้องการปรับปรุงพรอมต์อย่างรวดเร็วในวงกว้าง คุณสามารถใช้เครื่องมือเพิ่มประสิทธิภาพที่อิงตามข้อมูล ซึ่งกำหนดเป้าหมายโมเดลในอุปกรณ์ได้ เช่น gemma-3n-e4b-it

ความปลอดภัย

เราได้ใช้การป้องกันหลายชั้นเพื่อจำกัดผลลัพธ์ที่เป็นอันตรายหรือไม่พึงประสงค์ เพื่อให้มั่นใจว่า Gemini Nano จะแสดงผลลัพธ์ที่ปลอดภัยสำหรับผู้ใช้ ดังนี้

  • ความปลอดภัยของโมเดลเนทีฟ: โมเดล Gemini ทั้งหมด รวมถึง Gemini Nano ได้รับการฝึก ให้ตระหนักถึงความปลอดภัยตั้งแต่เริ่มต้น ซึ่งหมายความว่าการพิจารณาด้านความปลอดภัยนั้นฝังอยู่ในแกนหลักของโมเดล ไม่ใช่แค่เพิ่มเข้ามาภายหลัง
  • ตัวกรองความปลอดภัยในอินพุตและเอาต์พุต: ทั้งพรอมต์อินพุตและผลลัพธ์ ที่สร้างโดยรันไทม์ของ Gemini Nano จะได้รับการประเมินเทียบกับตัวกรองความปลอดภัย ก่อนที่จะแสดงผลลัพธ์ในแอป ซึ่งจะช่วยป้องกันไม่ให้เนื้อหาที่ไม่ปลอดภัย หลุดรอดออกมาโดยไม่ทำให้คุณภาพลดลง

อย่างไรก็ตาม เนื่องจากแต่ละแอปมีเกณฑ์ของตนเองสำหรับสิ่งที่ถือว่าเป็นเนื้อหาที่ปลอดภัยสำหรับผู้ใช้ คุณจึงควรประเมินความเสี่ยงด้านความปลอดภัยสำหรับกรณีการใช้งานเฉพาะของแอปและทดสอบตามนั้น

แหล่งข้อมูลเพิ่มเติม