1. Đánh giá
Sau khi Thẻ dữ liệu đã sẵn sàng để xuất bản, bạn cần hoàn tất các hành động tiếp theo sau đây để đạt được mục tiêu minh bạch:
- Sử dụng các phương pháp đánh giá để nắm được thông tin chi tiết về hiệu suất của Thẻ dữ liệu đối với người đọc.
- Theo dõi một cách có hệ thống việc sử dụng và áp dụng Thẻ dữ liệu để đảm bảo rằng thẻ này phù hợp với mối quan tâm của độc giả.
Mô-đun này cung cấp một số phương pháp để kiểm tra Thẻ dữ liệu đã hoàn tất nhằm tiếp tục thành công sau khi bạn phát hành thẻ.
Như đã đề cập trong các mô-đun trước, mục tiêu chính của một trình đọc Thẻ dữ liệu là đưa ra đánh giá về tập dữ liệu. Do đó, mọi đánh giá về Thẻ dữ liệu của một tập dữ liệu đều phải tập trung vào việc liệu người đọc có thể đưa ra kết luận chấp nhận được về tập dữ liệu hay không.
Thông tin trong Thẻ dữ liệu phải phù hợp với trải nghiệm của người đọc khi sử dụng tập dữ liệu. Điều này ảnh hưởng trực tiếp đến niềm tin của người đọc về độ tin cậy và uy tín của tập dữ liệu, và sau đó là danh tiếng và niềm tin vào tác giả hoặc nhà xuất bản của tập dữ liệu.
Ngược lại, niềm tin hiện có của người đọc về tập dữ liệu, tổ chức của bạn và các tập dữ liệu khác do tổ chức của bạn xuất bản cũng có thể ảnh hưởng đến cách họ tương tác với Thẻ dữ liệu của bạn, bất kể thẻ đó có dễ khám phá, dễ sử dụng hay được xây dựng tốt hay không.
Ví dụ: những độc giả có trải nghiệm tích cực với các tập dữ liệu do một tổ chức xuất bản trước đây có thể ngầm tin tưởng hơn vào một tập dữ liệu mới do cùng tác giả xuất bản. Trong trường hợp này, có thể người đọc sẽ đưa ra những suy đoán trực quan và có thể không đọc kỹ Thẻ dữ liệu mới để hiểu rõ nhất có thể về tập dữ liệu và cụ thể là cách tập dữ liệu này khác với một tập dữ liệu cũ, tương tự.
Do đó, việc đánh giá Thẻ dữ liệu đòi hỏi những phương pháp có thể đánh giá xem liệu người đọc có thể đưa ra kết luận chấp nhận được về tập dữ liệu trong bối cảnh của họ hay không. Những đánh giá này khác với đánh giá về chính tập dữ liệu, có thể không tiết lộ nhiều về hiệu quả của Thẻ dữ liệu đi kèm. Thay vào đó, bạn phải đánh giá Thẻ dữ liệu thông qua một phương pháp nào đó như nghiên cứu người dùng. Phương pháp này giúp bạn biết liệu nội dung của bạn có được nhiều độc giả hiểu hay không, hoặc khám phá xem độc giả có vẫn nhận được thông tin chi tiết hữu ích trong khi bạn lặp lại Thẻ dữ liệu hay không. Một cách khác là đo lường mức độ chấp nhận và hiệu quả của Thẻ dữ liệu thông qua mức độ hài lòng của người dùng, các cuộc khảo sát và số liệu phân tích trong quá trình triển khai Thẻ dữ liệu. Theo nghĩa này, Thẻ dữ liệu có thể là một công cụ hữu ích để thúc đẩy và đánh giá mức độ thành công của tập dữ liệu, đồng thời giúp bạn hiểu rõ hơn về nhu cầu của các bên liên quan ở hạ nguồn.
Yêu cầu
Có nhiều bên liên quan trong vòng đời của một tập dữ liệu, mỗi bên có mức độ thông thạo dữ liệu, chuyên môn về miền và yêu cầu khác nhau.
Yêu cầu là một tuyên bố xác định đặc điểm hoặc hạn chế về hoạt động, chức năng, thiết kế của một sản phẩm hoặc quy trình, phải rõ ràng, có thể kiểm tra và cần thiết để sản phẩm hoặc quy trình được chấp nhận. Các mục tiêu của tập dữ liệu, các bên liên quan trong vòng đời của tập dữ liệu và việc triển khai các nỗ lực minh bạch của bạn đóng vai trò trong việc thiết lập các yêu cầu và tiêu chí đánh giá của Thẻ dữ liệu. Ví dụ: nhiều nhà quản lý sản phẩm, kỹ sư, nhà khoa học dữ liệu, nhà thiết kế AI và người đánh giá IRB có thể sử dụng câu trả lời trong Thẻ dữ liệu. Trong trường hợp này, quy trình đánh giá hiệu quả sẽ bao gồm các tiêu chí liên quan trực tiếp đến các yêu cầu về chức năng, hoạt động, tính hữu dụng và độ an toàn cho từng vai trò này.
Tóm tắt
Các phương pháp đánh giá khác nhau sẽ mang lại thông tin chi tiết khác nhau về hiệu quả của Thẻ dữ liệu. Bạn nên chọn những phương pháp đánh giá có thể được sử dụng trong suốt quá trình minh bạch hoá tài liệu, từ khi tạo đến khi ra mắt và sau đó.
Bốn yêu cầu được giới thiệu trong mô-đun này (chức năng, hoạt động, khả năng sử dụng và độ an toàn) cùng với các khía cạnh được giới thiệu trong mô-đun thứ hai (trách nhiệm giải trình, tính hữu ích, chất lượng, hậu quả của việc sử dụng và rủi ro/đề xuất) là điểm khởi đầu tốt để đánh giá hiệu suất tổng thể của Thẻ dữ liệu từ góc độ trực tiếp của người đọc.
2. Xác định các yêu cầu của bạn
- Để xác định các yêu cầu, hãy sử dụng bảng sau. Bảng này bao gồm các yêu cầu, tiêu chí đánh giá và ví dụ về cách xác định xem Thẻ dữ liệu của bạn có đáp ứng tiêu chí đó hay không, có tính đến người đọc và vai trò:
Yêu cầu | Tiêu chí đánh giá | Ví dụ |
Chức năng | Thẻ dữ liệu có giúp độc giả hoàn thành nhiệm vụ của họ dựa trên vai trò tương ứng không? | Hãy cân nhắc một kỹ sư dữ liệu quan tâm đến việc tích hợp tập dữ liệu của bạn vào quy trình của họ. Thẻ dữ liệu của bạn có thông tin cần thiết để triển khai thành công cơ sở hạ tầng cần thiết để sử dụng tập dữ liệu không? |
Hoạt động | Thẻ dữ liệu có giúp người đọc xác định các chức năng thiết yếu, biện pháp đo lường hiệu suất và các yêu cầu cũng như quy trình liên quan khác cần thiết để sử dụng tập dữ liệu một cách hiệu quả không? | Hãy cân nhắc một trình tạo mô hình học máy (ML) muốn tinh chỉnh hệ thống đề xuất bằng tập dữ liệu của bạn. Thẻ dữ liệu của bạn có đủ thông tin để xác định các ràng buộc và nhu cầu về hiệu suất cần đáp ứng không? |
Khả năng hữu dụng | Độc giả có thể dễ dàng khám phá và tương tác với Thẻ dữ liệu của bạn không? Việc triển khai Thẻ dữ liệu có đáp ứng các phương pháp phỏng đoán cơ bản về khả năng sử dụng và các tiêu chuẩn hỗ trợ tiếp cận không? | Hãy xem xét một sinh viên nghiên cứu muốn sử dụng tập dữ liệu của bạn nhưng có quyền truy cập Internet hạn chế. Việc nhúng một hình ảnh trực quan mang tính khám phá và tương tác về tập dữ liệu vào Thẻ dữ liệu có thể gây ra những loại thách thức nào? Những loại lỗi thiếu sót nào về giao diện người dùng có thể khiến trình đọc màn hình không dịch được Thẻ dữ liệu cho người đọc có thị lực kém? |
An toàn | Thông tin được cung cấp trong Thẻ dữ liệu có hữu ích cho các chuyên gia đánh giá mọi kết quả không mong muốn tiềm ẩn liên quan đến tập dữ liệu của bạn trong các miền của họ không? | Hãy cân nhắc những chuyên gia thực hành học máy làm việc trong một lĩnh vực có nhiều rủi ro, chẳng hạn như lĩnh vực chăm sóc sức khoẻ. Thẻ dữ liệu của bạn có mô tả các yêu cầu thích hợp về bảo mật, quyền riêng tư, độ tin cậy và việc tuân thủ mà bạn cần phải công bố để ngăn chặn kết quả không tốt cho bệnh nhân không? |
Để biết thêm thông tin, hãy xem phần Đánh giá bằng Readers.
3. Xác định các phương diện
- Để xác định các phương diện, hãy mời một độc giả tiềm năng đánh giá Thẻ dữ liệu của bạn theo 5 phương diện và sử dụng biểu mẫu sau để đánh giá mức độ hiệu quả của Thẻ dữ liệu cho từng phương diện:
4. Phương pháp đo từ xa trên quy mô lớn
Để mọi loại tài liệu hướng đến sự minh bạch đều thành công, bạn phải coi tài liệu đó là một sản phẩm lấy người dùng làm trung tâm. Việc theo dõi một cách có hệ thống mức sử dụng Thẻ dữ liệu là cần thiết để đưa ra các chiến lược minh bạch dài hạn và các sáng kiến rộng rãi trên nhiều chức năng. Mặc dù không có một cách tiếp cận chung nào để đo lường mức độ thành công của các nỗ lực minh bạch, nhưng bạn có thể cân nhắc nhiều yếu tố khi thiết lập chương trình theo dõi tác động, chẳng hạn như mức độ hoàn thiện và mục tiêu của nỗ lực minh bạch, quy mô của tổ chức hoặc các tập dữ liệu được ghi lại.
Ví dụ: bạn nhận thấy rằng một số dạng đo từ xa để đo lường hiệu quả của Thẻ dữ liệu sẽ dễ dàng tích hợp vào các cách triển khai Thẻ dữ liệu tương tác hơn là PDF. Mặt khác, để đo lường hiệu quả của Thẻ dữ liệu, bạn có thể phải thiết lập các cơ chế tuỳ chỉnh để đo lường Thẻ dữ liệu chưa hoàn chỉnh hoặc bị bỏ dở trong tổ chức của mình.
Đo lường tác động
Nói chung, các chỉ số cho một mẫu Thẻ dữ liệu và việc áp dụng các chỉ số đó có thể được phân loại thành 7 danh mục: tính vệ sinh của tài liệu, khả năng phục hồi và tính ổn định, khả năng hiểu, khả năng hỗ trợ, mức độ chuyển đổi, mức độ tương tác và phạm vi tiếp cận. Tuy nhiên, những chỉ số này không bằng nhau mà bạn cần xem xét trong bối cảnh của mình. Bảng sau đây liệt kê, xác định và giải thích thời điểm cũng như cách đo lường 7 danh mục này cho Thẻ dữ liệu và Mẫu thẻ dữ liệu:
Danh mục | Định nghĩa | Thời điểm đo lường | Cách đo lường |
Vệ sinh tài liệu | Mức độ hài lòng của người đọc khi sử dụng tập dữ liệu phù hợp với kỳ vọng do Thẻ dữ liệu tạo ra.Mức độ chính xác của nhà sản xuất khi mô tả tập dữ liệu phù hợp với kỳ vọng do mẫu Thẻ dữ liệu đặt ra. | Mẫu: Trong quá trình hoàn tất hoặc ngay sau khi nhà sản xuất tập dữ liệu hoàn tất Thẻ dữ liệu. | Mẫu: Đo lường mức độ phù hợp của mẫu Thẻ dữ liệu với các tập dữ liệu mà mẫu đó hướng đến. Ví dụ: tỷ lệ câu hỏi chưa được trả lời đánh giá tỷ lệ phần trăm số câu hỏi chưa được trả lời nhất quán cho một lớp tập dữ liệu. |
Khả năng phục hồi và tính ổn định | Khả năng của mẫu Thẻ dữ liệu trong việc chịu được các sửa đổi hoặc bổ sung, đặc biệt nếu được dùng trong nhiều miền hoặc khi Thẻ dữ liệu được nhiều người đọc đọc. | Mẫu: Trong quá trình hoàn tất hoặc ngay sau khi nhà sản xuất hoàn tất Thẻ dữ liệu. Đặc biệt lưu ý đến những nội dung sửa đổi được thực hiện sau khi ra mắt | Mẫu: Đo lường mức độ đa dạng của các tập dữ liệu mà một mẫu thu thập được mà không cần chỉnh sửa, các nội dung chỉnh sửa phổ biến nhất và số lượng câu hỏi được trả lời không chính xác hoặc được sử dụng lại. Ví dụ: tỷ lệ chỉnh sửa là tỷ lệ giữa số lượng Thẻ dữ liệu được tạo bằng một mẫu và số lượng nội dung chỉnh sửa được thực hiện trong mẫu đó. |
Dễ hiểu | Mức độ thành thạo của nhà sản xuất khi sử dụng một mẫu Thẻ dữ liệu, cũng như mức độ hiệu quả của người đọc mới khi sử dụng thông tin trong một Thẻ dữ liệu hoàn chỉnh. | Mẫu: Khi cung cấp mẫu cho nhà sản xuất tập dữ liệu để hoàn tất bằng cách đăng ký tại các mốc trong quá trình hoàn tất. | Mẫu: Đo lường mức độ hiểu biết của nhà sản xuất về mẫu Thẻ dữ liệu và độ khó của các phần trong mẫu. Ví dụ: các nghiên cứu định hướng chủ động tuyển dụng độc giả tham gia khảo sát và quy trình nhận thức để thu thập thông tin chi tiết cụ thể. |
Khả năng hỗ trợ | Khả năng cung cấp dịch vụ hỗ trợ để duy trì Thẻ dữ liệu và mức độ hỗ trợ được cung cấp. | Mẫu: Ngay khi bạn thiết lập một nỗ lực về Thẻ dữ liệu trong tổ chức của mình, bất kể quy mô và nếu đó là hoạt động đặc biệt. | Mẫu: Đo lường thời gian và chuyên môn bổ sung cần thiết để hoàn tất và xuất bản một mẫu Thẻ dữ liệu. Ví dụ: giờ hỗ trợ đo lường số người tham dự, các loại tập dữ liệu và câu hỏi nhận được trong giờ hỗ trợ hoặc chương trình hỗ trợ dành cho nhà sản xuất tập dữ liệu tạo Thẻ dữ liệu. |
Chuyển đổi | Theo dõi tỷ lệ phần trăm nhà sản xuất hoàn thành và xuất bản Thẻ dữ liệu từ một mẫu, cũng như tỷ lệ phần trăm người đọc đưa ra quyết định về một tập dữ liệu dựa trên Thẻ dữ liệu của tập dữ liệu đó. | Mẫu: Ngay khi bạn thiết lập một nỗ lực về Thẻ dữ liệu trong tổ chức của mình, bất kể quy mô và nếu đó là hoạt động đặc biệt. | Mẫu: Đo lường tỷ lệ thành công của nhà sản xuất khi hoàn tất các mẫu Thẻ dữ liệu. Ví dụ: số liệu phân tích theo dõi tỷ lệ hoàn thành và thời gian phát hành, cũng như tỷ lệ phần trăm các phần có liên quan trong một mẫu Thẻ dữ liệu. |
Mức độ tương tác | Theo dõi mức độ tương tác của khán giả với nội dung của bạn, chẳng hạn như Thẻ dữ liệu. | Mẫu: Sau khi các mẫu Thẻ dữ liệu được thiết lập và lưu hành trong tổ chức của bạn. | Mẫu: Đo lường mức độ tham gia và cam kết của nhà sản xuất tập dữ liệu trong chương trình Thẻ dữ liệu. Ví dụ:
Thẻ dữ liệu: Đo lường mức độ sử dụng Thẻ dữ liệu và việc tạo ra kiến thức từ thẻ dữ liệu.
|
Tiếp cận | Theo dõi tổng số người dùng riêng biệt nhìn thấy Thẻ dữ liệu của bạn. Đây là một yếu tố quan trọng dẫn đến các chỉ số khác như mức độ tương tác và lượt chuyển đổi. | Mẫu: Sau khi các mẫu Thẻ dữ liệu được thiết lập và lưu hành trong tổ chức của bạn. | Mẫu: Đo lường số lượng Thẻ dữ liệu mà một tổ chức có thể tạo ra so với số lượng tập dữ liệu mà tổ chức đó có. |
Để biết thêm thông tin, hãy xem bài viết Đo từ xa ở quy mô lớn.
Việc vận hành các chỉ số đo từ xa này có thể đòi hỏi nhiều mức độ tài nguyên và sự hỗ trợ khác nhau. Ví dụ: nhóm tập trung tìm hiểu mức độ thân thiện của Thẻ dữ liệu đối với nhà sản xuất sẽ cần một bộ tài nguyên khác biệt đáng kể so với số liệu phân tích ghi lại tỷ lệ hoàn thành Thẻ dữ liệu. Tương tự, việc đo lường lưu lượng truy cập vào Thẻ dữ liệu đòi hỏi tương đối ít tài nguyên hơn so với một loạt các cuộc phỏng vấn sau khi ra mắt để đánh giá mức độ tương tác. Bạn có thể xem xét những danh mục này với những người đưa ra quyết định liên chức năng trong tổ chức của mình để xác định danh mục nào nên được dùng để theo dõi mức độ tác động và cách thức theo dõi.
Tóm tắt
Cuối cùng, các chỉ số đo lường tác động của Thẻ dữ liệu sẽ khác với các chỉ số đo lường tiến trình hoàn thành Thẻ dữ liệu. Mức độ hoàn thiện của một tập dữ liệu có thể thay đổi cách bạn diễn giải các chỉ số trong Thẻ dữ liệu. Tính đến độ hoàn thiện và mức độ phổ biến của tập dữ liệu, đồng thời xem xét tác động định lượng, định tính và tác động dựa trên giai thoại một cách đồng bộ.
5. Chọn chỉ số
Như đã đề cập, bối cảnh của bạn sẽ quyết định những chỉ số mà bạn cần đảm bảo để đạt được mục tiêu minh bạch.
Để chọn chỉ số, hãy làm theo các bước sau:
- Đa dạng hoá mục tiêu. Đặt ra các mục tiêu của nhóm cho nỗ lực minh bạch của bạn, không chỉ đánh giá tiến trình hoàn thành Thẻ dữ liệu mà còn đánh giá tác động của Thẻ dữ liệu đối với độc giả sau khi bạn tạo và ra mắt thẻ này.
- Xác định chỉ số dẫn dắt và chỉ số tụt hậu. Đối với mỗi chỉ số trễ cho biết thời điểm bạn đạt được mục tiêu, hãy thiết lập các chỉ số về khách hàng tiềm năng để theo dõi những hoạt động quan trọng đóng góp vào mục tiêu.
- Đặt nhịp độ cho các nghiên cứu bổ sung, định tính. Khi bạn thiết lập cơ sở hạ tầng cần thiết để đo lường Thẻ dữ liệu trong tổ chức của mình, hãy tạo một kế hoạch để thường xuyên chạy các nghiên cứu định tính nhằm xác minh kết quả và điều chỉnh các chỉ số định lượng.
- Đào tạo từng nhóm dữ liệu. Cho phép các nhóm tạo tập dữ liệu và Thẻ dữ liệu diễn giải các chỉ số định tính và định lượng một cách đồng bộ trong bối cảnh tập dữ liệu và Thẻ dữ liệu của họ.
6. Xin chúc mừng
Xin chúc mừng! Bạn đã có mọi thứ cần thiết để tạo Thẻ dữ liệu! Giờ thì bạn có thể làm bài kiểm tra để kiểm tra kiến thức của mình.