ประเมินคุณภาพพรอมต์

การตรวจสอบคุณภาพและความน่าเชื่อถือของพรอมต์เป็นสิ่งสำคัญเมื่อใช้การเข้าถึงโมเดลโดยตรงด้วย Gemini Nano

หากต้องการประเมินคุณภาพพรอมต์ คุณควรพัฒนาชุดอินพุตและเอาต์พุตที่คาดหวังที่ครอบคลุมสำหรับ Use Case ของคุณ

เราขอแนะนำเวิร์กโฟลว์ต่อไปนี้เพื่อประเมินว่าพรอมต์ของคุณตรงตามแถบคุณภาพของ Gemini Nano แต่ละเวอร์ชันหรือไม่

  1. เรียกใช้ชุดข้อมูลการประเมินและบันทึกเอาต์พุต
  2. ประเมินผลลัพธ์ด้วยตนเองหรือใช้ LLM-as-a-judge
    1. หากการประเมินไม่เป็นไปตามเกณฑ์คุณภาพ ให้ปรับแต่งพรอมต์ซ้ำ เช่น ขอให้ LLM ที่มีประสิทธิภาพมากขึ้นอย่าง Gemini Pro ปรับปรุงพรอมต์โดยอิงตามเอาต์พุตที่ต้องการเทียบกับเอาต์พุตจริง

วิศวกรรมพรอมต์ (Prompt Engineering) ช่วยเพิ่มประสิทธิภาพของงาน และการปรับแต่งพรอมต์ซ้ำๆ เป็นกุญแจสำคัญ เราขอแนะนำให้ทำซ้ำขั้นตอนข้างต้นอย่างน้อย 3-5 ครั้ง โปรดทราบว่าแนวทางนี้มีข้อจำกัด เนื่องจากการเพิ่มประสิทธิภาพจะให้ผลตอบแทนที่ลดลงในที่สุด

หรือหากต้องการปรับปรุงพรอมต์อย่างรวดเร็วในวงกว้าง คุณสามารถใช้เครื่องมือเพิ่มประสิทธิภาพที่ขับเคลื่อนด้วยข้อมูล ซึ่งสามารถกำหนดเป้าหมายโมเดลในอุปกรณ์ เช่น gemma-3n-e4b-it ได้

ความปลอดภัย

เพื่อให้มั่นใจว่า Gemini Nano จะแสดงผลลัพธ์ที่ปลอดภัยสำหรับผู้ใช้ เราจึงใช้การป้องกันหลายชั้นเพื่อจำกัดผลลัพธ์ที่เป็นอันตรายหรือไม่พึงประสงค์ ดังนี้

  • ความปลอดภัยของโมเดลในตัว: โมเดล Gemini ทั้งหมด รวมถึง Gemini Nano ได้รับการฝึกให้ตระหนักถึงความปลอดภัยตั้งแต่เริ่มต้น ซึ่งหมายความว่าเราได้สร้างการพิจารณาด้านความปลอดภัยไว้ในแกนหลักของโมเดล ไม่ใช่แค่เพิ่มเข้ามาในภายหลัง
  • ตัวกรองความปลอดภัยในอินพุตและเอาต์พุต: ทั้งพรอมต์อินพุตและผลลัพธ์ที่รันไทม์ Gemini Nano สร้างขึ้นจะได้รับการประเมินเทียบกับตัวกรองความปลอดภัยของเราก่อนที่จะแสดงผลลัพธ์แก่แอป ซึ่งจะช่วยป้องกันไม่ให้เนื้อหาที่ไม่ปลอดภัยหลุดรอดไปได้โดยไม่สูญเสียคุณภาพ

อย่างไรก็ตาม เนื่องจากแต่ละแอปมีเกณฑ์ของตนเองสำหรับสิ่งที่ถือว่าเป็นเนื้อหาที่ปลอดภัยสำหรับผู้ใช้ คุณจึงควรประเมินความเสี่ยงด้านความปลอดภัยสำหรับ Use Case เฉพาะของแอปและทดสอบตามนั้น

แหล่งข้อมูลเพิ่มเติม