Việc đảm bảo chất lượng và độ tin cậy của câu lệnh là rất quan trọng khi sử dụng quyền truy cập trực tiếp vào mô hình với Gemini Nano.
Để đánh giá chất lượng câu lệnh, bạn nên phát triển một bộ dữ liệu đầu vào và đầu ra dự kiến toàn diện cho trường hợp sử dụng của mình.
Để đánh giá xem câu lệnh của bạn có đáp ứng tiêu chuẩn chất lượng với từng phiên bản mô hình Gemini Nano hay không, bạn nên thực hiện quy trình sau:
- Chạy tập dữ liệu đánh giá và ghi lại kết quả.
- Đánh giá kết quả theo cách thủ công hoặc sử dụng LLM-as-a-judge.
- Nếu kết quả đánh giá không đáp ứng tiêu chuẩn chất lượng của bạn, hãy lặp lại câu lệnh. Ví dụ: yêu cầu một LLM mạnh hơn như Gemini Pro cải thiện câu lệnh dựa trên kết quả mong muốn so với kết quả thực tế.
Thiết kế câu lệnh giúp tăng hiệu suất thực hiện nhiệm vụ và việc lặp lại câu lệnh là yếu tố then chốt. Bạn nên lặp lại các bước trên ít nhất 3 đến 5 lần. Xin lưu ý rằng phương pháp này có giới hạn, vì các hoạt động tối ưu hoá cuối cùng sẽ mang lại lợi nhuận giảm dần.
Ngoài ra, để nhanh chóng cải thiện câu lệnh trên quy mô lớn, bạn có thể sử dụng trình tối ưu hoá dựa trên dữ liệu. Trình tối ưu hoá này có thể nhắm đến các mô hình trên thiết bị như gemma-3n-e4b-it.
An toàn
Để đảm bảo Gemini Nano trả về kết quả an toàn cho người dùng, chúng tôi triển khai nhiều lớp bảo vệ để hạn chế kết quả gây hại hoặc ngoài ý muốn:
- An toàn mô hình gốc: Tất cả các mô hình Gemini, bao gồm cả Gemini Nano, đều được huấn luyện để nhận biết về an toàn ngay từ đầu. Điều này có nghĩa là các yếu tố an toàn được tích hợp vào cốt lõi của mô hình, chứ không chỉ được thêm vào sau.
- Bộ lọc an toàn cho dữ liệu đầu vào và đầu ra: Cả câu lệnh đầu vào và kết quả do thời gian chạy Gemini Nano tạo ra đều được đánh giá dựa trên các bộ lọc an toàn của chúng tôi trước khi cung cấp kết quả cho ứng dụng. Điều này giúp ngăn chặn nội dung không an toàn lọt qua mà không làm giảm chất lượng.
Tuy nhiên, vì mỗi ứng dụng có tiêu chí riêng về nội dung được coi là an toàn cho người dùng, nên bạn cần đánh giá rủi ro về an toàn cho trường hợp sử dụng cụ thể của ứng dụng và kiểm thử cho phù hợp.
Tài nguyên khác
- AI của bạn tốt đến mức nào? Đánh giá AI tạo sinh ở mọi giai đoạn, giải thích – Bài đăng trên blog mô tả cách sử dụng dịch vụ đánh giá AI tạo sinh.
- Tổng quan về dịch vụ đánh giá AI tạo sinh – Tài liệu mô tả cách đánh giá các mô hình AI tạo sinh để hỗ trợ các nhiệm vụ như so sánh mô hình, cải thiện câu lệnh và tinh chỉnh.
- Chạy quy trình đánh giá dựa trên tính toán – Tài liệu về cách đánh giá hiệu suất của mô hình.