1. Valutazione
Ora che la scheda dei dati è pronta per la pubblicazione, devi completare le seguenti azioni di follow-up per raggiungere i tuoi obiettivi di trasparenza:
- Utilizza i metodi di valutazione per ottenere informazioni su come la tua scheda dati viene visualizzata dai lettori.
- Monitora sistematicamente l'utilizzo e l'adozione delle schede di dati per assicurarti che siano in linea con gli interessi dei tuoi lettori.
Questo modulo offre alcuni approcci per controllare la scheda dati completata per un successo continuo anche dopo il rilascio.
Come accennato nei moduli precedenti, lo scopo principale di un lettore di schede di dati è quello di effettuare valutazioni sul set di dati. Pertanto, qualsiasi valutazione della scheda dati di un set di dati deve concentrarsi sulla possibilità per il lettore di trarre conclusioni accettabili sul set di dati.
Le informazioni contenute in una scheda dati devono essere in linea con l'esperienza di utilizzo del set di dati da parte di un lettore. Ciò influisce direttamente sulle convinzioni del lettore in merito all'affidabilità e alla credibilità del set di dati e, di conseguenza, sulla reputazione e sulla fiducia negli autori o negli editori del set di dati.
Al contrario, le convinzioni esistenti di un lettore sul tuo set di dati, sulla tua organizzazione e su altri set di dati pubblicati dalla tua organizzazione possono anche influenzare il modo in cui interagisce con la tua scheda dei dati, indipendentemente da quanto sia rilevabile, utilizzabile o ben strutturata.
Ad esempio, i lettori che hanno avuto un'esperienza positiva con i set di dati pubblicati in precedenza da un'organizzazione potrebbero riporre implicitamente maggiore fiducia in un nuovo set di dati pubblicato dagli stessi autori. In questo caso, è possibile che il lettore faccia salti intuitivi e non legga la nuova scheda dati con la dovuta attenzione per comprendere al meglio il set di dati e, in particolare, in che modo differisce da un set di dati simile precedente.
Pertanto, la valutazione di una scheda dei dati richiede approcci in grado di valutare se i lettori possono giungere a conclusioni accettabili del set di dati nei loro contesti. Queste sono diverse dalle valutazioni del set di dati stesso, che potrebbero non rivelare molto sull'efficacia della scheda dati associata. Devi invece valutare la tua scheda dei dati tramite uno studio sugli utenti, che ti aiuta a capire se i tuoi contenuti vengono compresi da diversi lettori o a scoprire se i lettori continuano a ottenere approfondimenti utili mentre apporti modifiche alla scheda dei dati. Un altro approccio consiste nel misurare l'adozione e l'efficacia della scheda dati tramite la soddisfazione degli utenti, i sondaggi e l'analisi nell'implementazione della scheda dati. In questo senso, una scheda dati può essere un utile strumento per guidare e valutare il successo del tuo set di dati e fornire un quadro più chiaro delle esigenze dei tuoi stakeholder downstream.
Requisiti
Nel ciclo di vita di un set di dati sono coinvolti vari stakeholder, ognuno con diversi livelli di competenza in materia di dati, esperienza nel settore e requisiti.
Un requisito è un'affermazione che identifica una caratteristica o un vincolo operativo, funzionale o di progettazione di un prodotto o processo che sia inequivocabile, verificabile e necessario per l'accettabilità del prodotto o del processo. Gli obiettivi del tuo set di dati, le parti interessate nel ciclo di vita del set di dati e l'implementazione dei tuoi sforzi di trasparenza svolgono un ruolo nella definizione dei requisiti e dei criteri di valutazione della tua scheda dei dati. Ad esempio, più product manager, ingegneri, data scientist, progettisti di AI e revisori IRB potrebbero utilizzare le risposte in una scheda dati. In questo caso, una buona procedura di valutazione contiene criteri che si riferiscono direttamente ai requisiti funzionali, operativi, di usabilità e di sicurezza per ciascuno di questi ruoli.
Riepilogo
Metodi di valutazione diversi forniscono informazioni diverse sull'efficacia di una scheda dati. Vuoi selezionare metodi di valutazione che possono essere utilizzati durante l'intero processo di documentazione della trasparenza, dalla creazione al lancio e successivamente.
I quattro requisiti introdotti in questo modulo (funzionale, operativo, usabilità e sicurezza), insieme alle dimensioni introdotte nel secondo modulo (responsabilità, utilità, qualità, conseguenze dell'utilizzo e rischi/consigli), sono un buon punto di partenza per valutare le prestazioni complessive della scheda dati dal punto di vista diretto dei lettori.
2. Determinare i requisiti
- Per determinare i tuoi requisiti, utilizza la seguente tabella, che include i requisiti, i possibili criteri di valutazione ed esempi di modi per determinare se la tua scheda dei dati soddisfa i criteri tenendo presente un lettore e un ruolo:
Requisito | Criteri di valutazione | Esempio |
Funzionale | La scheda di dati consente ai lettori di completare le proprie attività in base ai rispettivi ruoli? | Prendi in considerazione un data engineer interessato a integrare il tuo set di dati nella sua pipeline. La tua scheda dati contiene le informazioni necessarie per implementare correttamente l'infrastruttura necessaria per utilizzare il set di dati? |
Operativo | La tua scheda dei dati consente ai lettori di identificare le funzionalità essenziali, le misure di rendimento e altri requisiti e processi associati necessari per utilizzare il set di dati in modo efficace? | Prendi in considerazione un generatore di modelli di machine learning (ML) che vuole perfezionare un sistema di suggerimenti con il tuo set di dati. La scheda dati contiene informazioni sufficienti per determinare i vincoli e le esigenze di rendimento da soddisfare? |
Usabilità | I lettori possono navigare e interagire facilmente con la tua scheda dati? L'implementazione della tua scheda dati soddisfa l'euristica di usabilità di base e gli standard di accessibilità? | Prendi in considerazione uno studente ricercatore che vuole utilizzare il tuo set di dati, ma ha un accesso a internet limitato. Quali tipi di sfide potrebbe creare l'incorporamento di una visualizzazione esplorativa e interattiva del tuo set di dati nella scheda di dati? Quali tipi di oversight della UI potrebbero impedire a un lettore di schermo di tradurre la scheda dati per un lettore con problemi di vista? |
Sicurezza | Le informazioni fornite nella scheda dei dati sono utili ai professionisti per valutare eventuali risultati indesiderati associati al tuo set di dati nei loro domini? | Prendi in considerazione i professionisti ML che lavorano in un dominio ad alto rischio, come quello sanitario. La tua scheda dei dati descrive i requisiti di sicurezza, privacy, robustezza e conformità appropriati che devono necessariamente essere divulgati per evitare risultati negativi per i pazienti? |
Per ulteriori informazioni, vedi Valuta con i lettori.
3. Determinare le dimensioni
- Per determinare le dimensioni, invita un potenziale lettore a valutare la tua scheda dati in base alle cinque dimensioni e utilizza il seguente modulo per valutare il rendimento della scheda dati per ciascuna:
4. Telemetria su larga scala
Affinché qualsiasi forma di documentazione orientata alla trasparenza abbia successo, devi trattarla come un prodotto incentrato sull'utente. Il monitoraggio sistematico dell'utilizzo della tua scheda dati è necessario per definire strategie di trasparenza a lungo termine e iniziative generali che superino i confini interfunzionali. Sebbene non esista un approccio unico per misurare il successo delle iniziative di trasparenza, ci sono una serie di fattori che puoi prendere in considerazione quando configuri il tuo programma di monitoraggio dell'impatto, come la maturità e gli obiettivi della tua iniziativa di trasparenza, le dimensioni dell'organizzazione o i set di dati documentati.
Ad esempio, scopri che alcune forme di telemetria per misurare l'efficacia delle schede dati sono più facili da integrare nelle implementazioni delle schede dati interattive rispetto ai PDF. D'altra parte, la misurazione dell'efficacia della tua scheda dati potrebbe richiedere la configurazione di meccanismi personalizzati che misurano le schede dati incomplete o abbandonate nella tua organizzazione.
Misurare l'impatto
In generale, le metriche per un modello di scheda dati e la loro adozione possono essere classificate in sette categorie: igiene della documentazione, resilienza e stabilità, comprensibilità, supporto, conversione, coinvolgimento e copertura. Tuttavia, queste metriche non sono uguali, ma devono essere considerate nei tuoi contesti. La seguente tabella elenca, definisce e spiega quando e come misurare queste sette categorie per le schede dei dati e i modelli di schede dei dati:
Categoria | Definizione | Quando misurare | Come misurare |
Igiene della documentazione | La soddisfazione con cui l'esperienza di un lettore che utilizza il set di dati è in linea con le aspettative create dalla scheda dei dati.L'accuratezza con cui l'esperienza di un produttore che descrive il set di dati è in linea con le aspettative stabilite dal modello di scheda dei dati. | Modello: durante il completamento o immediatamente dopo che i produttori del set di dati hanno completato le schede dei dati. | Modello: misura l'efficacia con cui un modello di scheda dei dati descrive i set di dati a cui è destinato. Ad esempio, il tasso di domande senza risposta valuta la percentuale di domande che non ricevono risposta in modo coerente per una classe di set di dati. |
Resilienza e stabilità | La capacità di un modello di scheda dati di resistere a modifiche o aggiunte, soprattutto se utilizzato in più domini o quando una scheda dati viene letta da lettori diversi. | Modello: durante il completamento o immediatamente dopo che i produttori hanno completato le schede dei dati. Presta particolare attenzione alle revisioni apportate dopo il lancio | Modello: misura la diversità dei set di dati acquisiti da un modello senza modifiche, le modifiche più comuni e il volume di domande a cui viene data una risposta errata o che vengono riproposte. Ad esempio, il rapporto di modifica è il rapporto tra il numero di schede di dati create con un modello e la quantità di modifiche apportate al modello. |
Comprensibilità | La facilità con cui un produttore può eseguire l'onboarding e utilizzare un modello di scheda dati e l'efficienza con cui un nuovo lettore di una scheda dati può eseguire l'onboarding, abituarsi e utilizzare le informazioni in una scheda dati completata. | Modello: quando fornisci modelli ai produttori di set di dati da completare con i check-in alle tappe fondamentali durante la procedura di completamento. | Modello: misura la comprensione del modello di scheda dei dati da parte dei produttori e la difficoltà delle sue sezioni. Ad esempio, gli studi formativi reclutano in modo proattivo i lettori per partecipare a sondaggi e walkthrough cognitivi per ottenere informazioni specifiche. |
Supportabilità | La capacità di fornire assistenza per supportare le schede dei dati e la quantità di assistenza fornita. | Modello: non appena configuri un'iniziativa di schede dei dati nella tua organizzazione, indipendentemente dalla scala e se è ad hoc. | Modello: misura il tempo e le competenze aggiuntive necessarie per completare e pubblicare un modello di scheda dei dati. Ad esempio, le ore di ufficio misurano la partecipazione, i tipi di set di dati e le domande ricevute durante le ore di ufficio o i programmi di assistenza per i produttori di set di dati che creano schede dei dati. |
Conversione | Monitora la percentuale di produttori che completano e pubblicano una scheda dei dati da un modello e la percentuale di lettori che prendono decisioni su un set di dati in base alla relativa scheda dei dati. | Modello: non appena configuri un'iniziativa di schede dei dati nella tua organizzazione, indipendentemente dalla scala e se è ad hoc. | Modello: misura i tassi di successo dei produttori nel completamento dei modelli di schede dei dati. Ad esempio, le analisi monitorano il tasso di completamento e il tempo di rilascio, nonché la percentuale di sezioni pertinenti in un modello di scheda dei dati. |
Coinvolgimento | Monitora il livello di coinvolgimento del pubblico con i tuoi contenuti, ad esempio la scheda Dati. | Modello: dopo che i modelli di schede dati sono stati creati e distribuiti nella tua organizzazione. | Modello: misura il livello di coinvolgimento e impegno dei produttori di set di dati in un programma di schede dei dati. Ad esempio:
Scheda dei dati: misura l'utilizzo della scheda dei dati e la generazione di conoscenza a partire da essa.
|
Copertura | Monitora il numero totale di persone uniche che visualizzano la tua scheda dati. Si tratta di un precursore importante di metriche aggiuntive come il coinvolgimento e la conversione. | Modello: dopo che i modelli di schede dei dati sono stati creati e distribuiti nella tua organizzazione. | Modello: misura il numero di schede dei dati che un'organizzazione può produrre rispetto al numero di set di dati che possiede. |
Per maggiori informazioni, consulta Telemetria su larga scala.
L'operazionalizzazione di queste metriche di telemetria potrebbe richiedere diversi livelli di risorse e supporto. Ad esempio, i focus group che analizzano la facilità d'uso di una scheda dati per i produttori richiedono un insieme di risorse notevolmente diverso rispetto alle analisi che registrano i tassi di completamento delle schede dati. Allo stesso modo, la misurazione del traffico verso una scheda dati richiede relativamente meno risorse rispetto a una serie di interviste post-lancio che analizzano i livelli di coinvolgimento. Puoi esaminare queste diverse categorie con i responsabili delle decisioni interfunzionali della tua organizzazione per determinare quali devono essere utilizzate per monitorare l'impatto e in che modo.
Riepilogo
Infine, le metriche che misurano l'impatto di una scheda dati sono diverse da quelle che misurano i tuoi progressi verso il completamento della scheda dati. La maturità di un set di dati può modificare il modo in cui interpreti le metriche della scheda dati. Tieni conto della maturità e della popolarità del set di dati e considera l'impatto quantitativo, qualitativo e aneddotico all'unisono.
5. Selezionare le metriche
Come accennato, il contesto determina le metriche che devi utilizzare per raggiungere i tuoi obiettivi di trasparenza.
Per selezionare le metriche:
- Diversifica i tuoi obiettivi: stabilisci obiettivi di squadra per i tuoi sforzi di trasparenza che non solo valutino i tuoi progressi verso il completamento della scheda dei dati, ma anche il suo impatto sui lettori dopo la creazione e il lancio.
- Definisci le metriche lead e lag. Per ogni metrica di ritardo che indica quando raggiungi un obiettivo, stabilisci metriche principali per monitorare le attività critiche che contribuiscono all'obiettivo.
- Imposta una cadenza per studi qualitativi complementari. Mentre configuri l'infrastruttura necessaria per misurare le schede dei dati in tutta l'organizzazione, crea un piano per eseguire regolarmente studi qualitativi per verificare i risultati e calibrare le metriche quantitative.
- Forma i singoli team di dati. Consenti ai team che producono set di dati e schede di dati di interpretare le metriche qualitative e quantitative all'unisono nel contesto dei loro set di dati e delle schede di dati.
6. Complimenti
Complimenti! Hai tutto il necessario per creare una scheda di dati. Ora puoi fare un quiz per mettere alla prova le tue conoscenze.