Sau khi xác minh rằng vấn đề của bạn được giải quyết tốt nhất bằng cách sử dụng phương pháp học máy dự đoán hoặc AI tạo sinh, bạn đã sẵn sàng để định hình vấn đề bằng thuật ngữ học máy. Bạn định hình một vấn đề bằng thuật ngữ học máy bằng cách hoàn thành các nhiệm vụ sau:
- Xác định kết quả lý tưởng và mục tiêu của mô hình.
- Xác định đầu ra của mô hình.
- Xác định chỉ số thành công.
Xác định kết quả lý tưởng và mục tiêu của mô hình
Không phụ thuộc vào mô hình học máy, kết quả lý tưởng là gì? Nói cách khác, nhiệm vụ chính xác mà bạn muốn sản phẩm hoặc tính năng của mình thực hiện là gì? Đây cũng là câu lệnh mà bạn đã xác định trước đó trong mục Trạng thái mục tiêu.
Kết nối mục tiêu của mô hình với kết quả lý tưởng bằng cách xác định rõ ràng những gì bạn muốn mô hình thực hiện. Bảng sau đây nêu rõ kết quả lý tưởng và mục tiêu của mô hình cho các ứng dụng giả định:
| Ứng dụng | Kết quả lý tưởng | Mục tiêu của mô hình |
|---|---|---|
| Ứng dụng thời tiết | Tính lượng mưa theo gia số 6 giờ cho một vùng địa lý. | Dự đoán lượng mưa trong 6 giờ tại những khu vực địa lý cụ thể. |
| Ứng dụng thời trang | Tạo nhiều kiểu thiết kế áo sơ mi. | Tạo 3 loại thiết kế áo sơ mi từ văn bản và một hình ảnh, trong đó văn bản cho biết kiểu và màu sắc, còn hình ảnh là loại áo sơ mi (áo thun, áo cúc, áo thun cổ bẻ). |
| Ứng dụng video | Đề xuất các video hữu ích. | Dự đoán xem người dùng có nhấp vào một video hay không. |
| Ứng dụng thư | Phát hiện thư rác. | Dự đoán xem một email có phải là thư rác hay không. |
| Ứng dụng tài chính | Tóm tắt thông tin tài chính từ nhiều nguồn tin tức. | Tạo ra bản tóm tắt 50 từ về những xu hướng tài chính chính trong bảy ngày trước đó. |
| Ứng dụng Bản đồ | Tính toán thời gian di chuyển. | Dự đoán thời gian sẽ đi giữa hai điểm. |
| Ứng dụng ngân hàng | Xác định các giao dịch gian lận. | Dự đoán xem một giao dịch có phải do chủ thẻ thực hiện hay không. |
| Ứng dụng ăn uống | Xác định ẩm thực theo thực đơn của một nhà hàng. | Dự đoán loại nhà hàng. |
| Ứng dụng thương mại điện tử | Tạo câu trả lời hỗ trợ khách hàng về sản phẩm của công ty. | Tạo ra câu trả lời bằng cách phân tích quan điểm và cơ sở kiến thức của tổ chức. |
Xác định đầu ra bạn cần
Lựa chọn loại mô hình phụ thuộc vào ngữ cảnh và những ràng buộc cụ thể của vấn đề. Đầu ra của mô hình sẽ hoàn thành nhiệm vụ được xác định trong kết quả lý tưởng. Do đó, câu hỏi đầu tiên cần trả lời là "Tôi cần loại đầu ra nào để giải quyết vấn đề của mình?"
Nếu cần phân loại nội dung nào đó hoặc đưa ra thông tin dự đoán dạng số, bạn có thể sử dụng công nghệ học máy dự đoán. Nếu cần tạo nội dung mới hoặc tạo kết quả liên quan đến khả năng hiểu ngôn ngữ tự nhiên, bạn có thể dùng AI tạo sinh.
Các bảng sau đây liệt kê đầu ra của công nghệ học máy có tính dự đoán và AI tạo sinh:
| hệ thống học máy | Kết quả ví dụ | |
|---|---|---|
| Phân loại | Tệp nhị phân | Phân loại email là thư rác hoặc không phải thư rác. |
| Nhãn đơn nhiều lớp | Phân loại động vật trong hình ảnh. | |
| Nhiều nhãn | Phân loại tất cả động vật trong một hình ảnh. | |
| Số | Hồi quy đơn chiều | Dự đoán số lượt xem mà một video sẽ nhận được. |
| Hồi quy đa chiều | Dự đoán huyết áp, nhịp tim và mức nồng độ Cholesterol cho một cá nhân. |
| Loại mô hình | Kết quả ví dụ |
|---|---|
| Văn bản |
Tóm tắt bài viết. Trả lời bài đánh giá của khách hàng. Dịch tài liệu từ tiếng Anh sang tiếng Quan Thoại. Viết nội dung mô tả sản phẩm. Phân tích tài liệu pháp lý.
|
| Bài đăng có hình ảnh |
Tạo hình ảnh tiếp thị. Áp dụng hiệu ứng hình ảnh cho ảnh. Tạo các biến thể thiết kế sản phẩm.
|
| Âm thanh |
Tạo cuộc hội thoại bằng một giọng cụ thể.
Tạo một bản sáng tác nhạc ngắn thuộc một thể loại cụ thể, chẳng hạn như nhạc jazz.
|
| Video |
Tạo video trông thực tế.
Phân tích cảnh quay video và áp dụng hiệu ứng hình ảnh.
|
| Đa phương thức | Sản xuất nhiều loại dữ liệu đầu ra, như video có phụ đề văn bản. |
Phân loại
Mô hình phân loại dự đoán danh mục của dữ liệu đầu vào, chẳng hạn như liệu một dữ liệu đầu vào nên được phân loại là A, B hay C.
Hình 1. Mô hình phân loại đưa ra thông tin dự đoán.
Dựa trên dự đoán của mô hình, ứng dụng của bạn có thể đưa ra quyết định. Ví dụ: nếu dự đoán là danh mục A thì thực hiện X; nếu dự đoán là danh mục B thì thực hiện, Y; nếu dự đoán là danh mục C thì thực hiện Z. Trong một số trường hợp, truy vấn dự đoán là kết quả của ứng dụng.
Hình 2. Kết quả của mô hình phân loại đang được sử dụng trong mã sản phẩm để đưa ra quyết định.
Hồi quy
Mô hình hồi quy dự đoán một giá trị số.
Hình 3. Mô hình hồi quy đưa ra kết quả dự đoán dạng số.
Dựa trên dự đoán của mô hình, ứng dụng của bạn có thể đưa ra quyết định. Ví dụ: nếu dự đoán nằm trong phạm vi A, hãy làm X; nếu dự đoán nằm trong phạm vi B thì hãy làm Y; nếu dự đoán nằm trong phạm vi C thì làm Z. Trong một số trường hợp, dự đoán là kết quả của ứng dụng.
Hình 4. Kết quả của mô hình hồi quy đang được dùng trong mã sản phẩm để đưa ra quyết định.
Hãy xem xét trường hợp sau:
Bạn muốn lưu vào bộ nhớ đệm của video dựa trên mức độ phổ biến dự đoán của video đó. Nói cách khác, nếu mô hình của bạn dự đoán rằng một video sẽ phổ biến, thì bạn sẽ muốn nhanh chóng phân phát video đó đến người dùng. Để làm vậy, bạn sẽ sử dụng bộ nhớ đệm hiệu quả và tốn kém hơn. Đối với các video khác, bạn sẽ sử dụng một bộ nhớ đệm khác. Tiêu chí lưu vào bộ nhớ đệm của bạn như sau:
- Nếu một video được dự đoán sẽ nhận được 50 lượt xem trở lên, thì bạn sẽ dùng bộ nhớ đệm đắt tiền.
- Nếu một video được dự đoán sẽ nhận được từ 30 đến 50 lượt xem, thì bạn sẽ dùng bộ nhớ đệm rẻ.
- Nếu video được dự đoán sẽ nhận được dưới 30 lượt xem, thì bạn sẽ không lưu video vào bộ nhớ đệm.
Bạn cho rằng mô hình hồi quy là phương pháp phù hợp vì bạn sẽ dự đoán một giá trị số (số lượt xem). Tuy nhiên, khi huấn luyện mô hình hồi quy, bạn nhận ra rằng mô hình này sẽ tạo ra số lượt xem bị mất tương tự đối với dự đoán là 28 và 32 cho video có 30 lượt xem. Nói cách khác, mặc dù ứng dụng của bạn sẽ có hành vi rất khác nếu dự đoán là 28 so với 32, nhưng mô hình sẽ coi cả hai dự đoán có hiệu quả như nhau.
Hình 5. Đào tạo một mô hình hồi quy.
Mô hình hồi quy không nhận biết được ngưỡng do sản phẩm xác định. Do đó, nếu hành vi của ứng dụng thay đổi đáng kể do sự khác biệt nhỏ trong thông tin dự đoán của mô hình hồi quy, bạn nên cân nhắc triển khai một mô hình phân loại.
Trong trường hợp này, mô hình phân loại sẽ tạo ra hành vi chính xác vì mô hình phân loại sẽ gây ra tổn thất cao hơn đối với dự đoán là 28 so với 32. Tức là, theo mặc định, các mô hình phân loại sẽ tạo ra các ngưỡng.
Kịch bản này nhấn mạnh hai điểm quan trọng:
Dự đoán quyết định. Khi có thể, hãy dự đoán quyết định mà ứng dụng của bạn sẽ đưa ra. Trong ví dụ về video, mô hình phân loại sẽ dự đoán quyết định nếu các danh mục mà hệ thống phân loại video là "không có bộ nhớ đệm", "bộ nhớ đệm rẻ" và "bộ nhớ đệm tốn kém". Việc ẩn hành vi của ứng dụng khỏi mô hình có thể khiến ứng dụng của bạn tạo ra hành vi sai.
Tìm hiểu các điểm hạn chế của vấn đề. Nếu ứng dụng của bạn thực hiện nhiều hành động dựa trên các ngưỡng khác nhau, hãy xác định xem các ngưỡng đó là cố định hay động.
- Ngưỡng động: Nếu ngưỡng động, hãy sử dụng mô hình hồi quy và đặt giới hạn ngưỡng trong mã của ứng dụng. Điều này cho phép bạn dễ dàng cập nhật các ngưỡng trong khi vẫn đảm bảo mô hình đưa ra các dự đoán hợp lý.
- Ngưỡng cố định: Nếu ngưỡng được cố định, hãy sử dụng mô hình phân loại và gắn nhãn cho tập dữ liệu của bạn dựa trên giới hạn ngưỡng.
Nhìn chung, hầu hết việc cấp phép bộ nhớ đệm đều động và các ngưỡng thay đổi theo thời gian. Do đó, vì đây là vấn đề cụ thể khi lưu vào bộ nhớ đệm, nên mô hình hồi quy là lựa chọn tốt nhất. Tuy nhiên, đối với nhiều vấn đề, các ngưỡng sẽ được khắc phục, khiến mô hình phân loại trở thành giải pháp tốt nhất.
Hãy cùng xem một ví dụ khác. Nếu đang xây dựng một ứng dụng thời tiết có kết quả lý tưởng là cho người dùng biết lượng mưa trong 6 giờ tới, bạn có thể sử dụng mô hình hồi quy dự đoán nhãn precipitation_amount.
| Kết quả lý tưởng | Nhãn lý tưởng |
|---|---|
| Cho người dùng biết lượng mưa ở khu vực của họ trong 6 giờ tới. | precipitation_amount
|
Trong ví dụ về ứng dụng thời tiết, nhãn trực tiếp giải quyết kết quả lý tưởng.
Tuy nhiên, trong một số trường hợp, mối quan hệ một với một không rõ ràng giữa kết quả lý tưởng và nhãn. Ví dụ: trong ứng dụng video, kết quả lý tưởng là đề xuất video hữu ích. Tuy nhiên, không có nhãn nào trong tập dữ liệu có tên là useful_to_user.
| Kết quả lý tưởng | Nhãn lý tưởng |
|---|---|
| Đề xuất video hữu ích. | ? |
Do đó, bạn phải tìm nhãn proxy.
Nhãn proxy
Nhãn proxy thay thế cho các nhãn không có trong tập dữ liệu. Nhãn proxy là cần thiết khi bạn không thể
đo lường trực tiếp những gì bạn muốn dự đoán. Trong ứng dụng video, chúng ta không thể đo lường trực tiếp
liệu người dùng có thấy video hữu ích hay không. Sẽ thật tuyệt nếu tập dữ liệu có tính năng useful và người dùng đánh dấu tất cả video mà họ thấy hữu ích, nhưng vì tập dữ liệu không hữu ích, nên chúng tôi sẽ cần một nhãn proxy thay cho mức độ hữu ích.
Nhãn proxy về mức độ hữu ích có thể là việc người dùng có chia sẻ hoặc thích video hay không.
| Kết quả lý tưởng | Nhãn proxy |
|---|---|
| Đề xuất video hữu ích. | shared OR liked |
Hãy thận trọng với các nhãn proxy vì các nhãn này không đo lường trực tiếp những gì bạn muốn dự đoán. Ví dụ: bảng sau đây nêu ra các vấn đề có nhãn proxy tiềm ẩn trong phần Đề xuất video hữu ích:
| Nhãn proxy | Vấn đề |
|---|---|
| Dự đoán xem người dùng có nhấp vào nút "thích" hay không. | Hầu hết người dùng không bao giờ nhấp vào "thích". |
| Dự đoán xem một video có phổ biến hay không. | Không được cá nhân hoá. Một số người dùng có thể không thích các video phổ biến. |
| Dự đoán xem người dùng có chia sẻ video hay không. | Một số người dùng không chia sẻ video. Đôi khi, mọi người chia sẻ video vì họ không thích video đó. |
| Dự đoán xem người dùng có nhấp vào phát hay không. | Tối đa hoá nội dung dụ nhấp chuột. |
| Dự đoán thời lượng họ xem video. | Ưu tiên video dài khác với video ngắn. |
| Dự đoán số lần người dùng sẽ xem lại video đó. | Ưu tiên video "xem lại được" hơn là thể loại video không xem lại được. |
Không có nhãn proxy nào có thể thay thế hoàn hảo cho kết quả lý tưởng của bạn. Tất cả đều có thể có vấn đề. Hãy chọn định dạng có ít vấn đề nhất cho trường hợp sử dụng của bạn.
Kiểm tra hiểu biết của bạn
Thế hệ
Trong hầu hết trường hợp, bạn sẽ không huấn luyện mô hình tạo sinh của riêng mình vì việc này yêu cầu lượng lớn dữ liệu huấn luyện và tài nguyên tính toán. Thay vào đó, bạn sẽ tuỳ chỉnh một mô hình tạo sinh đã được huấn luyện trước. Để có được một mô hình tạo sinh tạo ra kết quả mong muốn, bạn có thể cần sử dụng một hoặc nhiều kỹ thuật sau:
Quá trình chưng cất. Để tạo phiên bản nhỏ hơn của mô hình lớn hơn, bạn sẽ tạo tập dữ liệu được gắn nhãn tổng hợp từ mô hình lớn hơn mà bạn dùng để huấn luyện mô hình nhỏ hơn. Các mô hình tạo sinh thường có kích thước rất lớn và tiêu tốn một lượng tài nguyên đáng kể (như bộ nhớ và điện). Phương pháp tinh lọc cho phép mô hình nhỏ hơn, tốn ít tài nguyên hơn ước tính hiệu suất của mô hình lớn hơn.
Điều chỉnh tinh chỉnh hoặc điều chỉnh hiệu quả về thông số. Để cải thiện hiệu suất của mô hình cho một nhiệm vụ cụ thể, bạn cần huấn luyện thêm cho mô hình đó trên tập dữ liệu có chứa các ví dụ về loại đầu ra mà bạn muốn tạo.
Kỹ thuật nhắc. Để mô hình thực hiện một tác vụ cụ thể hoặc tạo đầu ra ở một định dạng cụ thể, bạn cho mô hình biết nhiệm vụ mà bạn muốn mô hình thực hiện hoặc giải thích cách bạn muốn định dạng đầu ra. Nói cách khác, lời nhắc có thể bao gồm hướng dẫn bằng ngôn ngữ tự nhiên về cách thực hiện nhiệm vụ hoặc các ví dụ minh hoạ bằng kết quả mong muốn.
Ví dụ: nếu muốn có nội dung tóm tắt ngắn gọn về các bài viết, bạn có thể nhập những nội dung sau:
Produce 100-word summaries for each article.Nếu muốn mô hình này tạo văn bản cho một cấp độ đọc cụ thể, bạn có thể nhập nội dung sau:
All the output should be at a reading level for a 12-year-old.Nếu muốn mô hình cung cấp đầu ra ở một định dạng cụ thể, bạn có thể giải thích cách định dạng đầu ra (ví dụ: "định dạng kết quả trong bảng" hoặc bạn có thể minh hoạ nhiệm vụ bằng cách đưa ra ví dụ). Ví dụ: bạn có thể nhập như sau:
Translate words from English to Spanish. English: Car Spanish: Auto English: Airplane Spanish: Avión English: Home Spanish:______
Quy trình lọc và tinh chỉnh sẽ cập nhật tham số của mô hình. Kỹ thuật nhắc không cập nhật các tham số của mô hình. Thay vào đó, kỹ thuật lời nhắc sẽ giúp mô hình tìm hiểu cách tạo ra kết quả mong muốn từ ngữ cảnh của lời nhắc.
Trong một số trường hợp, bạn cũng cần có tập dữ liệu kiểm thử để đánh giá đầu ra của mô hình tạo sinh dựa trên các giá trị đã biết, chẳng hạn như kiểm tra để đảm bảo rằng các bản tóm tắt của mô hình giống với bản tóm tắt do con người tạo hoặc xem các bản tóm tắt của mô hình có được đánh giá tốt hay không.
Bạn cũng có thể sử dụng AI tạo sinh để triển khai giải pháp học máy có tính dự đoán, chẳng hạn như phân loại hoặc hồi quy. Ví dụ: nhờ có kiến thức chuyên sâu về ngôn ngữ tự nhiên, nên các mô hình ngôn ngữ lớn (LLM) có thể thường xuyên thực hiện các nhiệm vụ phân loại văn bản tốt hơn so với công nghệ học máy dự đoán được đào tạo cho nhiệm vụ cụ thể đó.
Xác định các chỉ số thành công
Xác định các chỉ số bạn sẽ sử dụng để xác định xem việc triển khai công nghệ học máy có thành công hay không. Chỉ số thành công xác định những điều bạn quan tâm, chẳng hạn như mức độ tương tác hoặc việc giúp người dùng thực hiện hành động phù hợp, chẳng hạn như xem video mà họ thấy hữu ích. Chỉ số thành công sẽ khác với chỉ số đánh giá của mô hình, như độ chính xác, độ chính xác, mức độ ghi nhớ hoặc AUC.
Ví dụ: chỉ số thành công và không thành công của ứng dụng thời tiết có thể được xác định như sau:
| Thành công | Người dùng mở tính năng "Có mưa không?" thường xuyên hơn 50% so với trước đây. |
|---|---|
| Không thành công | Người dùng không thường xuyên mở tính năng "Trời có mưa không?" không thường xuyên hơn trước đây. |
Các chỉ số về ứng dụng video có thể được xác định như sau:
| Thành công | Người dùng dành trung bình thêm 20% thời gian trên trang web. |
|---|---|
| Không thành công | Trung bình, người dùng không dành nhiều thời gian trên trang web hơn trước đây. |
Bạn nên xác định các chỉ số thành công có triển vọng. Tuy nhiên, có thể tạo ra khoảng cách giữa thành công và thất bại. Ví dụ: người dùng dành trung bình thêm 10% thời gian trên trang web so với trước đây thì không phải là thành công cũng không thất bại. Khoảng cách không xác định không phải là điều quan trọng.
Điều quan trọng là khả năng di chuyển gần gũi hơn hoặc vượt quá khả năng của mô hình của bạn về định nghĩa thành công. Ví dụ: khi phân tích hiệu suất của mô hình, hãy cân nhắc câu hỏi sau: Việc cải thiện mô hình có giúp bạn đến gần hơn với các tiêu chí thành công đã xác định không? Ví dụ: một mô hình có thể có chỉ số đánh giá tốt, nhưng lại không đưa bạn đến gần hơn với tiêu chí thành công, cho thấy rằng ngay cả với một mô hình hoàn hảo, bạn cũng sẽ không đáp ứng được tiêu chí thành công mà bạn đã xác định. Mặt khác, một mô hình có thể có chỉ số đánh giá kém, nhưng giúp bạn tiến gần hơn đến tiêu chí thành công, đồng thời cho biết rằng việc cải thiện mô hình sẽ giúp bạn tiến gần hơn đến thành công.
Sau đây là các phương diện cần xem xét khi xác định xem mô hình có đáng cải thiện hay không:
Chưa đủ tốt nhưng hãy tiếp tục. Bạn không nên sử dụng mô hình trong môi trường sản xuất, nhưng theo thời gian, mô hình có thể được cải thiện đáng kể.
Vậy là đủ rồi tiếp tục. Mô hình này có thể được sử dụng trong môi trường sản xuất và có thể được cải thiện thêm.
Đủ tốt, nhưng không thể cải thiện thêm. Mô hình này nằm trong môi trường sản xuất, nhưng có thể sẽ tốt nhất có thể.
Chưa đủ tốt và sẽ không bao giờ như vậy. Bạn không nên sử dụng mô hình này trong môi trường sản xuất và không cần qua chương trình đào tạo nào để triển khai mô hình đó.
Khi quyết định cải thiện mô hình, hãy đánh giá lại xem liệu sự gia tăng về tài nguyên (chẳng hạn như thời gian kỹ thuật và chi phí điện toán) có biện minh cho việc cải thiện mô hình theo dự đoán hay không.
Sau khi xác định các chỉ số thành công và không thành công, bạn cần xác định tần suất đo lường các chỉ số đó. Ví dụ: bạn có thể đo lường chỉ số thành công của mình sáu ngày, sáu tuần hoặc sáu tháng sau khi triển khai hệ thống.
Khi phân tích các chỉ số lỗi, hãy cố gắng xác định lý do hệ thống gặp lỗi. Ví dụ: mô hình này có thể dự đoán video mà người dùng sẽ nhấp vào, nhưng mô hình này có thể bắt đầu đề xuất các tiêu đề dụ nhấp khiến người dùng bỏ ngang. Trong ví dụ về ứng dụng thời tiết, mô hình này có thể dự đoán chính xác thời điểm trời sẽ mưa nhưng đối với một khu vực địa lý quá rộng.
Kiểm tra hiểu biết của bạn
Một công ty thời trang muốn bán nhiều quần áo hơn. Có người đề xuất sử dụng công nghệ học máy để xác định loại quần áo mà công ty nên sản xuất. Họ cho rằng có thể huấn luyện người mẫu để xác định loại quần áo nào là thời trang. Sau khi huấn luyện người mẫu, họ muốn áp dụng mẫu đó vào danh mục của mình để quyết định nên sản xuất quần áo nào.
Họ nên trình bày vấn đề của mình bằng thuật ngữ học máy như thế nào?
Kết quả lý tưởng: Xác định sản phẩm để sản xuất.
Mục tiêu của mô hình: Dự đoán bài viết nào của quần áo là thời trang.
Đầu ra của mô hình: Phân loại nhị phân, in_fashion, not_in_fashion
Chỉ số thành công: Bán từ 70% số quần áo may mặc trở lên.
Kết quả lý tưởng: Xác định lượng vải và nguồn cung cấp để đặt hàng.
Mục tiêu của mô hình: Dự đoán số lượng từng mặt hàng sẽ sản xuất.
Đầu ra của mô hình: Phân loại nhị phân, make, do_not_make
Chỉ số thành công: Bán từ 70% số quần áo may mặc trở lên.