Xin chúc mừng! Bạn đã triển khai trình dự đoán giao diện toàn cầu. Bạn muốn trình dự đoán chạy 24x7 mà không cần quá nhanh. Bạn nhanh chóng nhận ra rằng mình cần theo dõi quy trình Máy học của mình. Mặc dù việc theo dõi tất cả thành phần có vẻ khó khăn, hãy xem xét các yêu cầu và giải pháp.
Kiểm tra sự phục vụ đào tạo
Độ lệch của quá trình phân phát đào tạo có nghĩa là dữ liệu đầu vào của bạn khác nhau giữa quá trình đào tạo và phân phát. Bảng sau đây mô tả hai kiểu lệch quan trọng:
| Loại | Định nghĩa | Ví dụ: | Giải pháp |
|---|---|---|---|
| Lược đồ sai lệch | Dữ liệu đầu vào trong quá trình đào tạo và phân phát không tuân thủ cùng một giản đồ. | Định dạng hoặc cách phân phối dữ liệu phân phát thay đổi trong khi mô hình của bạn tiếp tục huấn luyện dựa trên dữ liệu cũ. | Sử dụng cùng một giản đồ để xác thực dữ liệu huấn luyện và phân phát. Đảm bảo bạn kiểm tra riêng các số liệu thống kê không được kiểm tra bởi giản đồ của bạn, chẳng hạn như tỷ lệ phần trăm giá trị bị thiếu |
| Độ lệch của tính năng | Dữ liệu kỹ thuật khác nhau giữa quá trình đào tạo và quá trình phân phát. | Mã kỹ thuật tính năng khác nhau giữa quá trình đào tạo và phân phát, tạo ra dữ liệu khác nhau theo kỹ thuật. | Tương tự như sai lệch giản đồ, hãy áp dụng quy tắc thống kê tương tự trong quá trình huấn luyện và phân phát dữ liệu được thiết kế. Theo dõi số lượng đối tượng bị sai lệch đã phát hiện và tỷ lệ ví dụ bị sai lệch trên mỗi đối tượng địa lý. |
Theo dõi độ tuổi của mô hình trong suốt quy trình
Nếu dữ liệu phân phát phát triển theo thời gian nhưng mô hình của bạn không được đào tạo lại thường xuyên, thì bạn sẽ thấy chất lượng mô hình giảm. Theo dõi thời gian kể từ khi mô hình được đào tạo lại về dữ liệu mới và đặt độ tuổi ngưỡng cho thông báo. Bên cạnh việc theo dõi độ tuổi của mô hình trong quá trình phân phát, bạn nên theo dõi tuổi của mô hình trong suốt quy trình để phát hiện các cột trong quy trình.
Kiểm thử để đảm bảo trọng số và kết quả của mô hình ổn định số
Trong quá trình đào tạo mô hình, các trọng số và đầu ra của lớp không được là NaN hoặc Inf. Viết mã kiểm thử để kiểm tra giá trị NaN và Inf của các trọng số và đầu ra của lớp. Ngoài ra, hãy kiểm tra để đảm bảo hơn một nửa đầu ra của một lớp khác 0.
Theo dõi hiệu suất của mô hình
Trình dự đoán giao diện kỳ lân của bạn phổ biến hơn dự kiến! Bạn sẽ nhận được rất nhiều yêu cầu dự đoán và thậm chí là nhiều dữ liệu đào tạo hơn. Bạn nghĩ rằng điều đó thật tuyệt vời cho đến khi bạn nhận ra rằng mô hình của mình đang ngày càng chiếm nhiều bộ nhớ và thời gian để đào tạo. Bạn quyết định theo dõi hiệu suất của mô hình bằng cách làm theo các bước sau:
- Theo dõi hiệu suất của mô hình theo phiên bản mã, mô hình và dữ liệu. Tính năng theo dõi như vậy cho phép bạn xác định chính xác nguyên nhân dẫn đến mọi vấn đề giảm hiệu suất.
- Thử nghiệm các bước huấn luyện mỗi giây cho một phiên bản mô hình mới so với phiên bản trước đó và với một ngưỡng cố định.
- Phát hiện rò rỉ bộ nhớ bằng cách đặt ngưỡng sử dụng bộ nhớ.
- Theo dõi thời gian phản hồi của API và theo dõi bách phân vị của API đó. Mặc dù thời gian phản hồi của API có thể nằm ngoài tầm kiểm soát của bạn, nhưng các phản hồi chậm có thể gây ra chỉ số kém trong thực tế.
- Theo dõi số lượng truy vấn được trả lời mỗi giây.
Kiểm tra chất lượng mô hình trực tiếp trên dữ liệu được phân phát
Bạn đã xác thực mô hình của mình. Nhưng nếu các tình huống trong thế giới thực, chẳng hạn như hành vi của kỳ lân, thay đổi sau khi ghi lại dữ liệu xác thực của bạn thì sao? Sau đó, chất lượng mô hình phân phát của bạn sẽ giảm. Tuy nhiên, chất lượng phân phát khó khăn trong việc phân phát vì dữ liệu thực tế không phải lúc nào cũng được gắn nhãn. Nếu dữ liệu phân phát của bạn không được gắn nhãn, hãy xem xét các thử nghiệm sau:
Điều tra các mô hình cho thấy sai lệch thống kê đáng kể trong các dự đoán. Xem mục Phân loại: Xu hướng dự đoán.
Theo dõi các chỉ số thực tế cho mô hình của bạn. Ví dụ: nếu bạn đang phân loại spam, hãy so sánh cụm từ gợi ý của bạn với thư rác do người dùng báo cáo.
Giảm thiểu khả năng phân biệt dữ liệu đào tạo và phân phát bằng cách phân phát phiên bản mô hình mới cho một phần nhỏ các truy vấn của bạn. Khi bạn xác thực mô hình phân phát mới, hãy từng bước chuyển tất cả các truy vấn sang phiên bản mới.
Khi sử dụng các chương trình kiểm thử này, hãy nhớ theo dõi cả sự suy giảm đột ngột và chậm về chất lượng dự đoán.