Część 4. Kontrola

1. Ocena

Karta danych jest gotowa do opublikowania. Aby zwiększyć przejrzystość, wykonaj te działania:

  • Korzystaj z metod oceny, aby dowiedzieć się, jak Twoja karta danych sprawdza się w przypadku czytelników.
  • Systematycznie śledź wykorzystanie i wdrażanie kart danych, aby mieć pewność, że są one zgodne z zainteresowaniami czytelników.

W tym module znajdziesz kilka sposobów na sprawdzenie, czy po opublikowaniu karty danych nadal będzie ona skuteczna.

Jak wspomnieliśmy w poprzednich modułach, głównym celem czytnika kart danych jest ocena zbioru danych. Dlatego ocena karty danych zbioru danych powinna koncentrować się na tym, czy czytelnik może wyciągnąć z niej akceptowalne wnioski na temat zbioru danych.

Informacje na karcie danych muszą być zgodne z doświadczeniami użytkownika podczas korzystania ze zbioru danych. Ma to bezpośredni wpływ na przekonanie czytelnika o wiarygodności i rzetelności zbioru danych, a w konsekwencji na reputację i zaufanie do autorów lub wydawców zbioru danych.

Z drugiej strony istniejące przekonania czytelnika na temat Twojego zbioru danych, organizacji i innych zbiorów danych opublikowanych przez Twoją organizację mogą również wpływać na to, jak korzysta on z karty danych, niezależnie od tego, jak łatwo ją znaleźć, jak jest użyteczna i jak dobrze skonstruowana.

Na przykład czytelnicy, którzy mieli pozytywne doświadczenia z zbiorami danych opublikowanymi wcześniej przez daną organizację, mogą w większym stopniu ufać nowemu zbiorowi danych opublikowanemu przez tych samych autorów. W takim przypadku czytelnik może wyciągnąć intuicyjne wnioski i nie przeczytać nowej karty danych wystarczająco dokładnie, aby jak najlepiej zrozumieć zbiór danych, a zwłaszcza to, czym różni się on od starszego, podobnego zbioru danych.

Dlatego ocena karty danych wymaga podejścia, które pozwala sprawdzić, czy czytelnicy mogą wyciągnąć akceptowalne wnioski na temat zbioru danych w swoim kontekście. Różnią się one od ocen samego zbioru danych, które mogą nie ujawniać wiele informacji o skuteczności towarzyszącej mu karty danych. Zamiast tego musisz ocenić kartę danych za pomocą np. badania użytkowników, które pomoże Ci sprawdzić, czy różni czytelnicy rozumieją Twoje treści, lub czy nadal uzyskują oni przydatne informacje, gdy wprowadzasz zmiany na karcie danych. Innym podejściem jest pomiar popularności i skuteczności karty danych za pomocą ankiet, analiz i opinii użytkowników w ramach jej wdrożenia. W tym sensie karta danych może być przydatnym narzędziem do oceny skuteczności zbioru danych i lepszego zrozumienia potrzeb zainteresowanych stron.

Wymagania

W cyklu życia zbioru danych uczestniczą różne osoby, które mają różny poziom wiedzy o danych, wiedzy specjalistycznej i wymagań.

Wymaganie to stwierdzenie, które określa operacyjną, funkcjonalną lub projektową charakterystykę produktu lub procesu albo ograniczenie, które jest jednoznaczne, możliwe do przetestowania i niezbędne do zaakceptowania produktu lub procesu. Cele zbioru danych, osoby zainteresowane cyklem życia zbioru danych i wdrażanie działań na rzecz przejrzystości odgrywają rolę w określaniu wymagań i kryteriów oceny karty danych. Na przykład odpowiedzi na pytania na karcie danych mogą być wykorzystywane przez wielu menedżerów produktów, inżynierów, specjalistów ds. danych, projektantów AI i osoby oceniające projekty badawcze. W takim przypadku dobry proces oceny zawiera kryteria, które są bezpośrednio związane z wymaganiami funkcjonalnymi, operacyjnymi, dotyczącymi użyteczności i bezpieczeństwa dla każdej z tych ról.

Podsumowanie

Różne metody oceny dostarczają różnych informacji o skuteczności karty danych. Wybierz metody oceny, które można stosować w całym procesie dokumentowania przejrzystości – od tworzenia po wdrożenie i później.

Cztery wymagania przedstawione w tym module – funkcjonalność, działanie, użyteczność i bezpieczeństwo – oraz wymiary wprowadzone w module drugim – odpowiedzialność, użyteczność, jakość, konsekwencje używania i ryzyko/rekomendacje – to dobry punkt wyjścia do oceny ogólnej skuteczności karty danych z perspektywy czytelników.

2. Określ swoje wymagania

  • Aby określić wymagania, skorzystaj z tabeli poniżej. Zawiera ona wymagania, kryteria oceny oraz przykłady sposobów sprawdzenia, czy karta danych spełnia te kryteria, z uwzględnieniem czytelnika i jego roli:

Wymaganie

Kryteria oceny

Przykład

Funkcjonalność

Czy karta danych umożliwia czytelnikom wykonywanie zadań w zależności od ich ról?

Wyobraź sobie inżyniera danych, który chce zintegrować Twój zbiór danych z potokiem danych. Czy karta danych zawiera informacje potrzebne do wdrożenia infrastruktury umożliwiającej korzystanie z tego zbioru danych?

Operacyjne

Czy karta danych umożliwia czytelnikom zidentyfikowanie podstawowych możliwości, miar wydajności oraz innych powiązanych wymagań i procesów niezbędnych do efektywnego korzystania z zbioru danych?

Wyobraź sobie twórcę modelu uczenia maszynowego, który chce dostroić system rekomendacji za pomocą Twojego zbioru danych. Czy karta danych zawiera wystarczająco dużo informacji, aby określić ograniczenia i wymagania dotyczące wydajności, które muszą zostać spełnione?

Łatwość obsługi

Czy czytelnicy mogą łatwo poruszać się po karcie danych i wchodzić z nią w interakcję? Czy wdrożenie karty danych spełnia podstawowe zasady heurystyczne dotyczące użyteczności i standardy dostępności?

Wyobraź sobie studenta, który chce użyć Twojego zbioru danych, ale ma ograniczony dostęp do internetu. Jakie problemy może spowodować umieszczenie interaktywnej wizualizacji eksploracyjnej zbioru danych na karcie danych? Jakie niedopatrzenia w interfejsie mogą uniemożliwić czytnikowi ekranu przetłumaczenie karty danych dla osoby słabowidzącej?

Bezpieczeństwo

Czy informacje podane na karcie danych są przydatne dla specjalistów do oceny potencjalnych niepożądanych skutków związanych z Twoim zbiorem danych w ich dziedzinach?

Weź pod uwagę osoby zajmujące się uczeniem maszynowym, które pracują w obszarach wysokiego ryzyka, np. w służbie zdrowia. Czy karta danych zawiera odpowiednie wymagania dotyczące bezpieczeństwa, prywatności, niezawodności i zgodności, które należy ujawnić, aby zapobiec niekorzystnym wynikom leczenia pacjentów?

Więcej informacji znajdziesz w artykule Ocena za pomocą czytników.

3. Określanie wymiarów

  • Aby określić wymiary, poproś potencjalnego czytelnika o ocenę karty danych w 5 wymiarach i użyj poniższego formularza, aby sprawdzić, jak dobrze karta danych sprawdza się w każdym z nich:

52b41a36b71ccc6d.png

4. Dane telemetryczne na dużą skalę

Aby dokumentacja dotycząca przejrzystości odniosła sukces, musisz traktować ją jako produkt zorientowany na użytkownika. Systematyczne śledzenie wykorzystania karty danych jest niezbędne do opracowywania długoterminowych strategii przejrzystości i inicjatyw o szerokim zakresie, które wykraczają poza granice poszczególnych zespołów. Nie ma jednej uniwersalnej metody pomiaru skuteczności działań na rzecz przejrzystości, ale podczas tworzenia programu śledzenia wpływu możesz wziąć pod uwagę różne czynniki, takie jak dojrzałość i cele działań na rzecz przejrzystości, skala organizacji czy udokumentowane zbiory danych.

Na przykład niektóre formy telemetrii do pomiaru skuteczności kart danych łatwiej jest wbudować w implementacje interaktywnych kart danych niż w pliki PDF. Z drugiej strony pomiar skuteczności karty danych może wymagać skonfigurowania niestandardowych mechanizmów, które mierzą niekompletne lub porzucone karty danych w Twojej organizacji.

Pomiar wpływu

Ogólnie rzecz biorąc, dane dotyczące szablonu karty danych i ich wykorzystania można podzielić na 7 kategorii: jakość dokumentacji, odporność i stabilność, zrozumiałość, możliwość uzyskania pomocy, konwersja, zaangażowanie i zasięg. Te dane nie są jednak sobie równe, ale należy je rozpatrywać w kontekście Twojej firmy. W tabeli poniżej znajdziesz listę, definicje i wyjaśnienia dotyczące 7 kategorii kart danych i szablonów kart danych oraz tego, kiedy i jak je mierzyć:

Kategoria

Definicja

Kiedy mierzyć

Jak mierzyć

Higiena dokumentacji

Zadowolenie użytkownika ze zbioru danych w porównaniu z oczekiwaniami wynikającymi z karty danych.Dokładność, z jaką opis zbioru danych przez producenta jest zgodny z oczekiwaniami wynikającymi z szablonu karty danych.

Szablon: podczas wypełniania lub natychmiast po wypełnieniu kart danych przez producentów zbiorów danych.

Karta danych: przed rozpowszechnieniem wypełnionej karty danych z przykładową grupą odbiorców i regularnie po rozpowszechnieniu z rzeczywistymi czytelnikami.

Szablon: mierzy, w jakim stopniu szablon karty danych opisuje zbiory danych, do których jest przeznaczony. Na przykład odsetek pytań bez odpowiedzi określa procent pytań, na które w przypadku danej klasy zbiorów danych nie ma odpowiedzi.

Karta danych: mierzy dokładność, z jaką wypełniona karta danych opisuje zbiór danych i jego zastosowanie. Na przykład porównania zadowolenia czytelników zbierają oceny zadowolenia czytelników z karty danych i porównują je z Twoją oceną przed opublikowaniem karty danych.

Odporność i stabilność

Możliwość dostosowania szablonu karty danych do zmian lub dodatków, zwłaszcza jeśli jest on używany w wielu domenach lub gdy karta danych jest czytana przez różnych odbiorców.

Szablon: podczas wypełniania lub bezpośrednio po wypełnieniu kart danych przez producentów. Zwróć szczególną uwagę na zmiany wprowadzone po uruchomieniu

Karta danych: gdy po uruchomieniu wprowadzane są zmiany i dodawane są nowe informacje.

Szablon: mierzy różnorodność zbiorów danych, które szablon obejmuje bez zmian, najczęstsze zmiany i liczbę pytań, na które udzielono nieprawidłowych odpowiedzi lub które zostały wykorzystane w inny sposób. Na przykład wskaźnik edycji to stosunek liczby kart danych utworzonych na podstawie szablonu do liczby zmian wprowadzonych w szablonie.

Karta danych: mierzy liczbę poprawek i dodanych treści w opublikowanej karcie danych oraz częstotliwość tych zmian. Na przykład średni czas bezawaryjnej pracy mierzy średni czas między zdarzeniami, w których edytowana jest karta danych.

Zrozumienie

Jak dobrze producent może wdrożyć i używać szablonu karty danych oraz jak skutecznie nowy czytelnik karty danych może wdrożyć, przyzwyczaić się do niej i korzystać z informacji na wypełnionej karcie danych.

Szablon: gdy udostępniasz producentom zbiorów danych szablony do wypełnienia informacjami o postępach w realizacji projektu.

Karta danych: po publicznym rozpowszechnieniu lub udostępnieniu kart danych.

Szablon: mierzy zrozumienie szablonu karty z danymi przez producentów i trudność poszczególnych sekcji. Na przykład badania formatywne polegają na proaktywnym rekrutowaniu czytelników do udziału w ankietach i testach poznawczych, aby uzyskać konkretne informacje.

Karta danych: mierzy zrozumienie i użyteczność karty danych przez czytelników oraz jej przydatność dla różnych grup odbiorców. Na przykład analityka śledzi dane o ruchu i zaangażowaniu, aby zobaczyć wzorce w ogólnym zrozumieniu. Uważaj jednak na dane, które nie mają większego znaczenia.

Możliwość uzyskania pomocy

Możliwości zapewnienia wsparcia w zakresie kart danych i zakres tego wsparcia.

Szablon: gdy tylko w organizacji skonfigurujesz projekt dotyczący kart danych, niezależnie od skali i tego, czy jest on doraźny.

Karta danych: gdy karta danych jest dostępna do wykorzystania i można śledzić jej wykorzystanie w czasie.

Szablon: mierzy dodatkowy czas i wiedzę potrzebne do ukończenia i opublikowania szablonu karty danych. Na przykład godziny pracy mierzą frekwencję, typy zbiorów danych i pytania otrzymane w godzinach pracy lub w ramach programów pomocy dla producentów zbiorów danych tworzących karty danych.

Karta danych: mierzy, jak karta danych wpływa na jakość i wyjątkowość pytań dotyczących zbioru danych oraz na odpowiednie sposoby wykorzystania zbioru danych. Na przykład problemy po uruchomieniu obejmują błędy, pytania lub prośby o funkcje dotyczące zbioru danych, które zostały zgłoszone jako problemy, na które nie odpowiada karta danych.

Konwersja

Śledzi odsetek producentów, którzy wypełniają i publikują kartę danych na podstawie szablonu, oraz odsetek czytelników, którzy podejmują decyzje dotyczące zbioru danych na podstawie jego karty danych.

Szablon: gdy tylko w organizacji zostanie utworzona karta z danymi, niezależnie od skali i tego, czy jest to działanie doraźne.

Karta z danymi: gdy karta z danymi jest dostępna do wykorzystania i można śledzić jej wykorzystanie w czasie.

Szablon: mierzy odsetek sukcesów producentów w wypełnianiu szablonów kart danych. Na przykład statystyki śledzą odsetek ukończeń i czas do publikacji oraz odsetek odpowiednich sekcji w szablonie karty danych.

Karta danych: mierzy odsetek przypadków, w których czytelnicy podejmują decyzje na podstawie kart danych. Na przykład badania jakościowe obejmują wywiady i ankiety zadowolenia czytelników, które dostarczają informacji o dokładności decyzji i odsetku ukończonych zadań.

Zaangażowanie

Śledzi, jak aktywnie odbiorcy wchodzą w interakcje z Twoimi treściami, np. z kartą danych.

Szablon: po utworzeniu i rozpowszechnieniu w organizacji szablonów kart danych.

Karta danych: gdy karta danych jest publicznie dostępna wraz z reprezentowanymi przez nią zbiorami danych. Te dane są mniej przydatne, jeśli karta danych jest niewidoczna lub ma konkurencyjne, a nie uzupełniające się źródła dokumentacji.

Szablon: mierzy poziom zaangażowania i zaangażowania producentów zbiorów danych w programie Karty danych. Na przykład:

  • Współczynnik udostępniania szablonów to odsetek producentów, którzy udostępniają szablony kart danych innym właścicielom zbiorów danych.
  • Odsetek utworzonych kart danych to odsetek kart danych utworzonych bez konieczności ich tworzenia.
  • Jakość odpowiedzi to dokładność i przydatność informacji podanych na kartach danych.

Karta z danymi: mierzy wykorzystanie karty z danymi i generowanie na jej podstawie wiedzy.
Na przykład:

  • Wielokrotne użycie mierzy, ile razy pracownicy lub użytkownicy zbioru danych odwołują się do karty danych, aby uzyskać więcej informacji.
  • W sekcji „Per section” (Według sekcji) mierzy dane o zaangażowaniu w poszczególnych sekcjach karty danych i śledzi udostępnienia linków bezpośrednich w poszczególnych sekcjach karty danych.

Zasięg

Śledzi łączną liczbę unikalnych użytkowników, którzy widzą Twoją kartę danych. Jest to ważny etap poprzedzający uzyskanie dodatkowych danych, takich jak zaangażowanie i konwersje.

Szablon: po utworzeniu i rozpowszechnieniu w organizacji szablonów kart danych.

Karta danych: gdy karta danych jest publicznie dostępna wraz ze zbiorami danych, które reprezentuje. Te dane są mniej przydatne, jeśli karta danych jest niewidoczna lub ma konkurencyjne, a nie uzupełniające się źródła dokumentacji.

Szablon: mierzy liczbę kart danych, które organizacja może utworzyć w stosunku do liczby zbiorów danych, które posiada.

Karta danych: mierzy ruch i jakość, które otrzymuje karta danych, oraz ruch, który generuje dla zbioru danych. Na przykład dzienniki trudności śledzą wyzwania, trudności lub frustracje, które mogą pojawić się u producentów zbiorów danych i osób czytających karty danych podczas sesji grup fokusowych.

Więcej informacji znajdziesz w artykule Telemetry at Scale (w języku angielskim).

Wdrożenie tych danych telemetrycznych może wymagać różnego poziomu zasobów i wsparcia. Na przykład grupy fokusowe, które analizują, na ile karta danych jest przyjazna dla producenta, wymagają znacznie innych zasobów niż analityka rejestrująca wskaźniki ukończenia karty danych. Podobnie pomiar ruchu na karcie danych wymaga stosunkowo mniej zasobów niż seria wywiadów po wprowadzeniu produktu na rynek, które mają na celu określenie poziomu zaangażowania. Możesz omówić te różne kategorie z osobami w Twojej organizacji, które podejmują decyzje w różnych obszarach, aby określić, które z nich należy wykorzystać do śledzenia wpływu i w jaki sposób.

Podsumowanie

Ostatecznie wskaźniki, które mierzą wpływ karty danych, różnią się od tych, które mierzą postępy w jej wypełnianiu. Poziom dojrzałości zbioru danych może wpływać na interpretację danych na karcie danych. Weź pod uwagę dojrzałość i popularność zbioru danych oraz rozważ wpływ ilościowy, jakościowy i anegdotyczny.

5. Wybieranie danych

Jak już wspomnieliśmy, kontekst określa dane, które musisz uwzględnić, aby osiągnąć cele związane z przejrzystością.

Aby wybrać dane, wykonaj te czynności:

  1. Zróżnicuj swoje cele. Wyznacz zespołowe cele dotyczące działań na rzecz przejrzystości, które będą oceniać nie tylko postępy w tworzeniu karty danych, ale też jej wpływ na czytelników po utworzeniu i opublikowaniu.
  2. Zdefiniuj dane wyprzedzające i opóźnione. W przypadku każdego wskaźnika opóźnionego, który informuje o osiągnięciu celu, ustal wskaźniki wyprzedzające, aby śledzić kluczowe działania przyczyniające się do osiągnięcia celu.
  3. Ustalaj częstotliwość przeprowadzania uzupełniających badań jakościowych. Podczas konfigurowania niezbędnej infrastruktury do pomiaru kart danych w całej organizacji utwórz plan regularnego przeprowadzania badań jakościowych, aby weryfikować wyniki i kalibrować wskaźniki ilościowe.
  4. Szkolenie poszczególnych zespołów ds. danych. Umożliwia zespołom tworzącym zbiory danych i karty danych interpretowanie jednocześnie danych jakościowych i ilościowych w kontekście tych zbiorów i kart.

6. Gratulacje

Gratulacje! Masz wszystko, czego potrzebujesz do utworzenia karty danych. Teraz możesz rozwiązać quiz, aby sprawdzić swoją wiedzę.