แบบทดสอบความรู้เบื้องต้นเกี่ยวกับโมเดล AI บน GPU

1. การฝึกโมเดลและการอนุมานแตกต่างกันอย่างไร

   การฝึกใช้เฉพาะการส่งต่อ ส่วนการอนุมานใช้การส่งต่อ + การส่งย้อน

   การฝึกจะอัปเดตน้ำหนัก ส่วนการอนุมานจะไม่

   การอนุมานต้องใช้ชุดข้อมูลที่ใหญ่กว่าการฝึก

   การอนุมานใช้ CPU เสมอ

2. รูปแบบโมเดลกำหนดอะไรเป็นหลัก

   อัตราส่วนการบีบอัดของบันทึกการฝึก

   วิธีจัดรูปแบบน้ำหนัก อคติ และข้อมูลเมตา

   จำนวนโทเค็นที่โมเดลสร้างได้

   วิธีจัดกำหนดการ GPU

3. เครื่องมือ TensorRT อธิบายได้ดีที่สุดว่า

   จุดตรวจสอบแบบพกพาสําหรับการวิจัย

   รูปแบบการแลกเปลี่ยนที่ไม่ขึ้นอยู่กับผู้ให้บริการ

   ไบนารีที่เพิ่มประสิทธิภาพสำหรับ GPU ซึ่งคอมไพล์สำหรับฮาร์ดแวร์ที่เฉพาะเจาะจง

   รูปแบบที่ขับเคลื่อนโดยชุมชนแบบง่ายๆ

4. อะไรที่ทำให้ GPU เหมาะกับการอนุมานมากกว่า CPU

   ใช้คอร์น้อยลง

   โดยมีคอร์แบบขนานหลายพันคอร์ที่ได้รับการเพิ่มประสิทธิภาพสำหรับคณิตศาสตร์เมทริกซ์

   โดยใช้พลังงานต่อคอร์มาก

   จัดการคำสั่งที่หลากหลายมากขึ้น

5. "จุดหักมุม" ในการเพิ่มประสิทธิภาพคืออะไร

   ค่าของเวลาในการตอบสนองที่ทำให้ปริมาณงานลดลง

   จุดที่ปริมาณงานดีขึ้นโดยไม่ทำให้เวลาในการตอบสนองแย่ลงมากเกินไป

   เวลาในการตอบสนองที่สังเกตได้ช้าที่สุด

   ร่องรอยหน่วยความจำขั้นต่ำที่โมเดลทำได้ โดยไม่คำนึงถึงการแลกเปลี่ยนประสิทธิภาพ

ส่งคำตอบ