Modul 4: Mengaudit

1. Evaluasi

Setelah Kartu Data Anda siap dipublikasikan, Anda harus menyelesaikan tindakan lanjutan berikut untuk mencapai upaya transparansi Anda:

• Gunakan metode evaluasi untuk mendapatkan insight tentang performa Kartu Data Anda dengan pembaca.
• Lacak penggunaan dan adopsi upaya Kartu Data Anda secara sistematis untuk memastikan bahwa upaya tersebut selaras dengan minat pembaca Anda.

Modul ini menawarkan beberapa pendekatan untuk mengaudit Kartu Data yang telah selesai agar terus berhasil setelah Anda merilisnya.

Seperti yang disebutkan dalam modul sebelumnya, tujuan utama pembaca Kartu Data adalah membuat penilaian tentang set data. Oleh karena itu, setiap evaluasi Kartu Data set data harus berfokus pada apakah pembaca dapat berhasil mencapai kesimpulan yang dapat diterima tentang set data tersebut.

Informasi dalam Kartu Data harus selaras dengan pengalaman pembaca dalam menggunakan set data. Hal ini secara langsung memengaruhi keyakinan pembaca tentang keandalan dan kredibilitas set data, serta reputasi dan kepercayaan terhadap penulis atau penerbit set data tersebut.

Sebaliknya, keyakinan pembaca yang sudah ada tentang set data, organisasi, dan set data lain yang dipublikasikan oleh organisasi Anda juga dapat memengaruhi cara mereka berinteraksi dengan Kartu Data Anda, terlepas dari seberapa mudah ditemukan, dapat digunakan, atau dibuat dengan baik Kartu Data tersebut.

Misalnya, pembaca yang memiliki pengalaman positif dengan set data yang sebelumnya dipublikasikan oleh organisasi mungkin secara implisit lebih memercayai set data baru yang dipublikasikan oleh penulis yang sama. Dalam hal ini, ada kemungkinan pembaca akan membuat kesimpulan intuitif, dan mungkin tidak membaca Kartu Data baru dengan cukup cermat untuk mendapatkan pemahaman terbaik tentang set data dan, khususnya, bagaimana perbedaannya dengan set data serupa yang lebih lama.

Oleh karena itu, evaluasi Kartu Data memerlukan pendekatan yang dapat menilai apakah pembaca dapat mencapai kesimpulan yang dapat diterima dari set data dalam konteks mereka. Hal ini berbeda dengan evaluasi set data itu sendiri, yang mungkin tidak banyak mengungkapkan efektivitas Kartu Data yang disertakan. Sebagai gantinya, Anda harus mengevaluasi Kartu Data melalui sesuatu seperti studi pengguna, yang membantu Anda memahami apakah konten Anda dipahami oleh pembaca yang berbeda, atau menemukan apakah pembaca Anda masih mendapatkan insight yang dapat ditindaklanjuti saat Anda melakukan iterasi pada Kartu Data. Pendekatan lainnya adalah mengukur adopsi dan efikasi Kartu Data Anda melalui kepuasan pengguna, survei, dan analisis dalam penerapan Kartu Data. Dalam hal ini, Kartu Data dapat menjadi alat yang berguna untuk mendorong dan mengevaluasi keberhasilan set data Anda, serta memberikan gambaran yang lebih jelas tentang kebutuhan pemangku kepentingan hilir Anda.

Persyaratan

Ada berbagai pemangku kepentingan dalam siklus proses set data, yang masing-masing memiliki tingkat kefasihan data, keahlian domain, dan persyaratan yang berbeda.

Persyaratan adalah pernyataan yang mengidentifikasi karakteristik operasional, fungsional, desain, atau batasan produk atau proses yang tidak ambigu, dapat diuji, dan diperlukan untuk penerimaan produk atau proses. Tujuan set data Anda, pemangku kepentingan dalam siklus proses set data, dan penerapan upaya transparansi Anda berperan dalam penetapan persyaratan dan kriteria evaluasi Kartu Data Anda. Misalnya, beberapa product manager, engineer, ilmuwan data, desainer AI, dan peninjau IRB dapat menggunakan jawaban dalam Kartu Data. Dalam hal ini, proses evaluasi yang baik berisi kriteria yang terkait langsung dengan persyaratan fungsional, operasional, kegunaan, dan keselamatan untuk setiap peran ini.

Ringkasan

Metode evaluasi yang berbeda akan menghasilkan insight yang berbeda tentang efikasi Kartu Data. Anda ingin memilih metode evaluasi yang dapat digunakan di seluruh proses dokumentasi transparansi mulai dari pembuatan hingga peluncuran dan setelahnya.

Empat persyaratan yang diperkenalkan dalam modul ini—fungsional, operasional, kegunaan, dan keamanan—bersama dengan dimensi yang diperkenalkan dalam modul kedua—akuntabilitas, utilitas, kualitas, konsekuensi penggunaan, dan risiko/rekomendasi—adalah titik awal yang baik untuk menilai performa keseluruhan Kartu Data Anda dari perspektif langsung pembaca.

2. Menentukan persyaratan Anda

• Untuk menentukan persyaratan Anda, gunakan tabel berikut, yang mencakup persyaratan, kemungkinan kriteria evaluasinya, dan contoh cara menentukan apakah Kartu Data Anda memenuhi kriteria tersebut dengan mempertimbangkan pembaca dan peran:

Persyaratan	Kriteria evaluasi	Contoh
Fungsional	Apakah Kartu Data Anda memungkinkan pembaca menyelesaikan tugas mereka sesuai dengan peran masing-masing?	Pertimbangkan seorang data engineer yang tertarik untuk mengintegrasikan set data Anda ke dalam pipeline-nya. Apakah Kartu Data Anda memiliki informasi yang diperlukan untuk berhasil menerapkan infrastruktur yang diperlukan untuk menggunakan set data?
Operasional	Apakah Kartu Data Anda memungkinkan pembaca mengidentifikasi kemampuan penting, ukuran performa, dan persyaratan serta proses terkait lainnya yang diperlukan untuk menggunakan set data secara efektif?	Pertimbangkan pembuat model machine learning (ML) yang ingin menyempurnakan sistem rekomendasi dengan set data Anda. Apakah Kartu Data Anda memiliki informasi yang cukup untuk menentukan batasan dan kebutuhan performa yang harus dipenuhi?
Kegunaan	Dapatkah pembaca dengan mudah menjelajahi dan berinteraksi dengan Kartu Data Anda? Apakah penerapan Kartu Data Anda memenuhi heuristik kegunaan dasar dan standar aksesibilitas?	Pertimbangkan seorang peneliti siswa yang ingin menggunakan set data Anda, tetapi memiliki akses internet terbatas. Apa saja jenis tantangan yang mungkin muncul saat menyematkan visualisasi eksploratif interaktif kumpulan data Anda di Kartu Data? Jenis kelalaian UI apa yang dapat mencegah pembaca layar menerjemahkan Kartu Data untuk pembaca yang memiliki penglihatan rendah?
Keamanan	Apakah informasi yang diberikan dalam Kartu Data berguna bagi praktisi untuk menilai potensi hasil yang tidak diinginkan terkait set data Anda di domain mereka?	Pertimbangkan praktisi ML yang bekerja di domain berisiko tinggi, seperti layanan kesehatan. Apakah Kartu Data Anda menjelaskan persyaratan keamanan, privasi, keandalan, dan kepatuhan yang sesuai yang harus diungkapkan untuk mencegah hasil buruk bagi pasien?

Untuk mengetahui informasi selengkapnya, lihat Mengevaluasi dengan Pembaca.

3. Menentukan dimensi

• Untuk menentukan dimensi Anda, undang calon pembaca untuk menilai Kartu Data Anda di lima dimensi dan gunakan formulir berikut untuk menilai seberapa baik performa Kartu Data Anda untuk setiap dimensi:

4. Telemetri dalam skala besar

Agar berhasil, semua bentuk dokumentasi yang berorientasi pada transparansi harus diperlakukan sebagai produk yang berfokus pada pengguna. Pelacakan penggunaan Kartu Data Anda secara sistematis diperlukan untuk menginformasikan strategi transparansi jangka panjang dan inisiatif luas yang mencakup batas lintas fungsi. Meskipun tidak ada pendekatan yang cocok untuk semua orang dalam mengukur keberhasilan upaya transparansi, ada berbagai faktor yang dapat Anda pertimbangkan saat menyiapkan program pelacakan dampak, seperti kematangan dan tujuan upaya transparansi Anda, skala organisasi, atau set data yang didokumentasikan.

Misalnya, Anda mendapati bahwa beberapa bentuk telemetri untuk mengukur efikasi Kartu Data lebih mudah diintegrasikan ke dalam implementasi Kartu Data interaktif daripada PDF. Di sisi lain, pengukuran efikasi Kartu Data Anda mungkin mengharuskan Anda menyiapkan mekanisme kustom yang mengukur Kartu Data yang tidak lengkap atau ditinggalkan di organisasi Anda.

Mengukur dampak

Secara umum, metrik untuk template Kartu Data dan penggunaannya dapat diklasifikasikan secara luas ke dalam tujuh kategori: kebersihan dokumentasi, ketahanan dan stabilitas, kemudahan pemahaman, dukungan, konversi, engagement, dan jangkauan. Namun, metrik ini tidak sama; melainkan, harus dipertimbangkan dalam konteks Anda. Tabel berikut mencantumkan, menentukan, dan menjelaskan kapan dan cara mengukur tujuh kategori ini untuk Kartu Data dan template Kartu Data:

Catatan: Template Kartu Data adalah skema metadata yang diisi produser dengan detail tentang set datanya untuk membuat Kartu Data. Dengan kata lain, kumpulan pertanyaan yang Anda buat di codelab Modul 1: Bertanya dan Modul 2: Periksa adalah template Anda, dan codelab Modul 3: Jawab memberikan panduan tentang cara menyelesaikannya. Meskipun proses pembuatan template sama dengan proses pembuatan Kartu Data tunggal, Anda mungkin ingin membuat batch Kartu Data dengan komponen yang dapat diulang. Cara ini sangat berguna jika Anda meluncurkan beberapa set data yang serupa, dan ingin menggunakan Kartu Data untuk membandingkan set data. Dalam hal ini, Anda harus mengukur dampak tidak hanya Kartu Data, tetapi juga template. Tabel berikut membantu Anda mengukur dampak dalam kedua kasus tersebut.

Kategori	Definisi	Waktu pengukuran	Cara mengukur
Kebersihan dokumentasi	Kepuasan pembaca saat menggunakan set data sesuai dengan ekspektasi yang dibuat oleh Kartu Datanya.Akurasi pengalaman produsen saat mendeskripsikan set data sesuai dengan ekspektasi yang ditetapkan oleh template Kartu Data.	Template: Selama penyelesaian atau segera setelah produsen set data menyelesaikan Kartu Data. Kartu Data: Sebelum distribusi Kartu Data yang telah selesai dengan grup audiens sampel dan pada irama reguler setelah distribusi dengan pembaca sebenarnya.	Template: Mengukur seberapa baik template Kartu Data menjelaskan set data yang ditujukannya. Misalnya, rasio pertanyaan yang tidak terjawab menilai persentase pertanyaan yang secara konsisten tidak terjawab untuk sekumpulan set data. Kartu Data: Mengukur akurasi Kartu Data yang telah selesai dalam mendeskripsikan set data dan penggunaannya. Misalnya, perbandingan kepuasan pembaca mengumpulkan skor kepuasan pembaca untuk Kartu Data dan membandingkannya dengan penilaian Anda sebelum rilis Kartu Data.
Ketahanan dan stabilitas	Kemampuan template Kartu Data untuk menahan modifikasi atau penambahan, terutama jika digunakan di beberapa domain atau saat Kartu Data dibaca oleh beragam pembaca.	Template: Selama penyelesaian atau segera setelah produser menyelesaikan Kartu Data. Perhatikan khususnya revisi yang dilakukan setelah peluncuran Kartu Data: Saat revisi dan penambahan dilakukan setelah peluncuran.	Template: Mengukur keragaman set data yang diambil template tanpa pengeditan, pengeditan paling umum, dan volume pertanyaan yang dijawab secara salah atau digunakan kembali. Misalnya, rasio pengeditan adalah rasio antara jumlah Kartu Data yang dibuat dengan template dan jumlah pengeditan yang dilakukan dalam template. Kartu Data: Mengukur jumlah revisi dan penambahan konten yang dilakukan pada Kartu Data yang dipublikasikan, serta frekuensi perubahan tersebut. Misalnya, waktu rata-rata antar-kegagalan mengukur waktu rata-rata antara peristiwa saat Kartu Data diedit.
Kemudahan dipahami	Seberapa baik produser dapat mengaktifkan dan menggunakan template Kartu Data, serta seberapa efisien pembaca baru Kartu Data dapat mengaktifkan, membiasakan diri, dan menggunakan informasi dalam Kartu Data yang telah selesai.	Template: Saat memberikan template kepada produser set data untuk diisi dengan check-in di tonggak pencapaian selama proses penyelesaian. Kartu Data: Setelah distribusi atau peluncuran Kartu Data secara publik.	Template: Mengukur pemahaman produser tentang template Kartu Data dan tingkat kesulitan bagian-bagiannya. Misalnya, studi formatif secara proaktif merekrut pembaca untuk berpartisipasi dalam survei dan penelusuran kognitif untuk mendapatkan insight tertentu. Kartu Data: Mengukur pemahaman dan kegunaan Kartu Data oleh pembaca, serta kesesuaiannya untuk berbagai pembaca. Misalnya, analisis melacak metrik traffic dan engagement untuk melihat pola dalam pemahaman secara keseluruhan. Namun, berhati-hatilah dengan metrik sia-sia.
Kemampuan dukungan	Kapasitas untuk memberikan dukungan guna mempertahankan Kartu Data dan jumlah dukungan yang diberikan.	Template: Segera setelah Anda menyiapkan upaya Kartu Data di organisasi Anda, terlepas dari skalanya, dan jika bersifat ad-hoc. Kartu Data: Saat Kartu Data tersedia untuk penggunaan dan pelacakan dari waktu ke waktu.	Template: Mengukur waktu dan keahlian tambahan yang diperlukan untuk menyelesaikan dan memublikasikan template Kartu Data. Misalnya, jam kerja mengukur kehadiran, jenis set data, dan pertanyaan yang diterima selama jam kerja atau program dukungan untuk produsen set data yang membuat Kartu Data. Kartu Data: Mengukur pengaruh Kartu Data terhadap kualitas dan keunikan pertanyaan tentang set data serta pengaruhnya terhadap penggunaan set data yang tepat. Misalnya, masalah pasca-peluncuran melacak bug, pertanyaan, atau permintaan fitur yang berkaitan dengan set data yang diajukan sebagai masalah yang tidak dijawab oleh Kartu Data.
Konversi	Melacak persentase produser yang menyelesaikan dan memublikasikan Kartu Data dari template dan persentase pembaca yang membuat keputusan tentang set data berdasarkan Kartu Datanya.	Template: Segera setelah Anda menyiapkan upaya Kartu Data di organisasi Anda, terlepas dari skalanya, dan jika bersifat ad-hoc. Kartu Data: Saat Kartu Data tersedia untuk penggunaan dan pelacakan dari waktu ke waktu.	Template: Mengukur tingkat keberhasilan produser dalam menyelesaikan template Kartu Data. Misalnya, analisis melacak rasio penyelesaian dan waktu rilis, serta persentase bagian yang relevan dalam template Kartu Data. Kartu Data: Mengukur rasio keberhasilan pembaca dalam mengambil keputusan berdasarkan Kartu Data. Misalnya, studi kualitatif menjalankan studi wawancara dan kepuasan dengan pembaca yang menghasilkan insight tentang akurasi keputusan dan rasio penyelesaian tugas.
Engagement	Melacak seberapa aktif audiens terlibat dengan konten Anda, seperti Kartu Data Anda.	Template: Setelah template Kartu Data dibuat dan disebarkan di organisasi Anda. Kartu Data: Saat Kartu Data tersedia secara publik bersama dengan set data yang diwakilinya. Metrik ini kurang berguna jika Kartu Data tidak dapat ditemukan atau memiliki sumber dokumentasi yang bersaing, bukan saling melengkapi.	Template: Mengukur tingkat keterlibatan dan komitmen yang dimiliki produsen set data dalam program Kartu Data. Contoh: Rasio berbagi template adalah persentase produser yang membagikan template Kartu Data kepada pemilik set data lain. Tingkat pembuatan organik adalah persentase Kartu Data yang dibuat tanpa harus melakukannya. Kualitas jawaban adalah akurasi dan kegunaan informasi yang diberikan dalam Kartu Data. Kartu Data: Mengukur penggunaan Kartu Data dan pembuatan pengetahuan darinya. Misalnya: Penggunaan berulang mengukur berapa kali agen atau pengguna set data merujuk ke Kartu Data untuk mendapatkan informasi selengkapnya. Per bagian mengukur metrik engagement per bagian Kartu Data dan melacak pembagian link dalam per bagian Kartu Data.
Jangkauan	Melacak total jumlah orang unik yang melihat Kartu Data Anda. Ini adalah pendahuluan penting untuk metrik tambahan seperti engagement dan konversi.	Template: Setelah template Kartu Data dibuat dan disebarkan di organisasi Anda. Kartu Data: Saat Kartu Data tersedia secara publik bersama dengan set data yang diwakilinya. Metrik ini kurang berguna jika Kartu Data tidak dapat ditemukan atau memiliki sumber dokumentasi yang bersaing, bukan saling melengkapi.	Template: Mengukur jumlah Kartu Data yang dapat dihasilkan organisasi dibandingkan dengan jumlah set data yang dimilikinya. Kartu Data: Mengukur traffic dan kualitas yang diterima Kartu Data serta traffic yang dibawanya ke set data. Misalnya, log hambatan melacak tantangan, kesulitan, atau frustrasi yang mungkin dialami produsen set data dan pembaca Kartu Data selama sesi grup fokus.

Untuk mengetahui informasi selengkapnya, lihat Telemetri dalam Skala.

Catatan: Kematangan set data berperan dalam efikasi Kartu Datanya dan interpretasi metrik.

Mengoperasionalkan metrik telemetri ini mungkin memerlukan berbagai tingkat resource dan dukungan. Misalnya, grup fokus yang mengupas tuntas seberapa ramah Kartu Data bagi produser memerlukan serangkaian sumber daya yang jauh berbeda dibandingkan dengan analisis yang mencatat rasio penyelesaian Kartu Data. Demikian pula, mengukur traffic ke Kartu Data memerlukan resource yang relatif lebih sedikit daripada serangkaian wawancara pasca-peluncuran yang mengupas tingkat engagement. Anda dapat meninjau berbagai kategori ini dengan pengambil keputusan lintas fungsi di organisasi Anda untuk menentukan kategori mana yang harus digunakan untuk melacak dampak dan caranya.

Ringkasan

Pada akhirnya, metrik yang mengukur dampak Kartu Data berbeda dengan metrik yang mengukur progres Anda dalam menyelesaikan Kartu Data. Kematangan set data dapat mengubah cara Anda menafsirkan metrik Kartu Data. Perhitungkan kematangan dan popularitas set data, serta pertimbangkan dampak kuantitatif, kualitatif, dan anekdotal secara bersamaan.

5. Pilih metrik Anda

Seperti yang disebutkan, konteks Anda menentukan metrik yang Anda perlukan untuk memastikan bahwa Anda memenuhi tujuan transparansi Anda.

Untuk memilih metrik, ikuti langkah-langkah berikut:

1. Diversifikasi sasaran Anda. Tetapkan sasaran tim untuk upaya transparansi Anda yang tidak hanya mengevaluasi progres Anda dalam menyelesaikan Kartu Data, tetapi juga dampaknya terhadap pembaca setelah Anda membuat dan meluncurkannya.
2. Tentukan metrik utama dan metrik pendukung. Untuk setiap metrik jeda yang memberi tahu Anda kapan Anda mencapai sasaran, tetapkan metrik prospek untuk melacak aktivitas penting yang berkontribusi pada sasaran.
3. Tetapkan irama untuk studi kualitatif yang saling melengkapi. Saat Anda menyiapkan infrastruktur yang diperlukan untuk mengukur Kartu Data di seluruh organisasi, buat rencana untuk menjalankan studi kualitatif secara rutin guna memverifikasi hasil dan mengalibrasi metrik kuantitatif.
4. Melatih tim data individual. Memungkinkan tim yang membuat set data dan Kartu Data untuk menafsirkan metrik kualitatif dan kuantitatif secara bersamaan dalam konteks set data dan Kartu Data mereka.

6. Selamat

Selamat! Anda memiliki semua yang diperlukan untuk membuat Kartu Data. Sekarang Anda siap mengikuti kuis untuk menguji pengetahuan Anda.