Câu đố về phần giới thiệu về các mô hình AI trên GPU

1. Đâu là điểm khác biệt chính giữa huấn luyện và suy luận?

   Quá trình huấn luyện chỉ sử dụng lượt truyền xuôi; quá trình suy luận sử dụng lượt truyền xuôi + lượt truyền ngược

   Quá trình huấn luyện cập nhật trọng số; quá trình suy luận không cập nhật trọng số

   Suy luận đòi hỏi tập dữ liệu lớn hơn so với huấn luyện

   Suy luận luôn sử dụng CPU

2. Định dạng mô hình chủ yếu xác định điều gì?

   Tỷ lệ nén của nhật ký huấn luyện

   Cách các trọng số, độ lệch và siêu dữ liệu được chuyển đổi tuần tự

   Số lượng mã thông báo mà một mô hình có thể tạo

   Cách lập lịch cho GPU

3. Công cụ TensorRT được mô tả chính xác nhất là:

   Điểm kiểm tra di động để nghiên cứu

   Định dạng trao đổi độc lập với nhà cung cấp

   Các tệp nhị phân được tối ưu hoá cho GPU được biên dịch cho phần cứng cụ thể

   Định dạng nhẹ do cộng đồng tạo

4. So với CPU, GPU có những điểm gì phù hợp với suy luận?

   Chúng sử dụng ít lõi hơn

   Chúng có hàng nghìn lõi song song được tối ưu hoá cho phép toán ma trận

   Chúng tiêu thụ nhiều điện năng cho mỗi lõi

   Chúng xử lý nhiều chỉ dẫn đa dạng hơn

5. "Điểm gãy" trong việc tối ưu hoá hiệu suất là gì?

   Giá trị độ trễ khi thông lượng giảm

   Điểm mà thông lượng cải thiện mà không làm tăng độ trễ quá nhiều

   Độ trễ quan sát được chậm nhất

   Mức sử dụng bộ nhớ tối thiểu mà một mô hình có thể đạt được, bất kể sự đánh đổi về hiệu suất

Gửi câu trả lời