Modul 4: Audit

1. Bewertung

Nachdem Ihre Datenkarte veröffentlicht werden kann, müssen Sie die folgenden Schritte ausführen, um Ihre Transparenzbemühungen zu dokumentieren:

  • Mithilfe von Analysemethoden können Sie herausfinden, wie Ihre Datenkarte bei Lesern ankommt.
  • Behalten Sie die Nutzung und Akzeptanz Ihrer Datenkarten im Blick, um sicherzustellen, dass sie den Interessen Ihrer Leser entsprechen.

In diesem Modul werden einige Ansätze vorgestellt, mit denen Sie Ihre fertige Datenkarte auch nach der Veröffentlichung auf Erfolg prüfen können.

Wie in früheren Modulen erwähnt, besteht das Hauptziel eines Datenkartenlesers darin, das Dataset zu bewerten. Bei der Bewertung der Datenkarte eines Datasets sollte daher darauf geachtet werden, ob der Leser zu akzeptablen Schlussfolgerungen über das Dataset gelangen kann.

Die Informationen auf einer Datenkarte müssen mit den Erfahrungen eines Lesers bei der Verwendung des Datasets übereinstimmen. Dies wirkt sich direkt auf die Überzeugung des Lesers von der Zuverlässigkeit und Glaubwürdigkeit des Datasets und damit auf den Ruf und das Vertrauen in die Autoren oder Publisher des Datasets aus.

Umgekehrt können die bestehenden Überzeugungen eines Lesers in Bezug auf Ihren Datensatz, Ihre Organisation und andere von Ihrer Organisation veröffentlichte Datensätze auch beeinflussen, wie er mit Ihrer Datenübersicht interagiert, unabhängig davon, wie auffindbar, nutzbar oder gut strukturiert sie ist.

Leser, die bereits positive Erfahrungen mit Datasets gemacht haben, die von einer Organisation veröffentlicht wurden, vertrauen möglicherweise implizit mehr in ein neues Dataset, das von denselben Autoren veröffentlicht wurde. In diesem Fall besteht die Gefahr, dass der Leser intuitive Sprünge macht und die neue Datenkarte nicht genau genug liest, um die bestmögliche Vorstellung vom Dataset zu erhalten und insbesondere zu verstehen, wie es sich von einem älteren, ähnlichen Dataset unterscheidet.

Daher erfordert die Bewertung einer Datenübersicht Ansätze, mit denen beurteilt werden kann, ob Leser in ihrem Kontext zu akzeptablen Schlussfolgerungen aus dem Dataset gelangen können. Diese unterscheiden sich von Bewertungen des Datasets selbst, die möglicherweise nicht viel über die Effektivität der zugehörigen Datenkarte verraten. Stattdessen müssen Sie Ihre Datenkarte z. B. durch eine Nutzerstudie bewerten. So können Sie herausfinden, ob Ihre Inhalte von verschiedenen Lesern verstanden werden, oder ob Ihre Leser weiterhin umsetzbare Erkenntnisse gewinnen, während Sie Ihre Datenkarte überarbeiten. Ein weiterer Ansatz besteht darin, die Akzeptanz und Wirksamkeit Ihrer Datenkarte anhand von Nutzerzufriedenheit, Umfragen und Analysen in der Implementierung der Datenkarte zu messen. In diesem Sinne kann eine Datenkarte ein nützliches Instrument sein, um den Erfolg Ihres Datasets zu steigern und zu bewerten und ein klareres Bild von den Anforderungen Ihrer nachgelagerten Stakeholder zu erhalten.

Anforderungen

Es gibt eine Vielzahl von Stakeholdern im Lebenszyklus eines Datasets, die jeweils unterschiedliche Kenntnisse im Umgang mit Daten, Fachwissen und Anforderungen haben.

Eine Anforderung ist eine Aussage, die eine betriebliche, funktionale oder gestalterische Eigenschaft oder Einschränkung eines Produkts oder Prozesses beschreibt, die eindeutig, testbar und für die Akzeptanz des Produkts oder Prozesses erforderlich ist. Die Ziele Ihres Datasets, die Stakeholder im Lebenszyklus des Datasets und die Umsetzung Ihrer Transparenzbemühungen spielen eine Rolle bei der Festlegung der Anforderungen und Bewertungskriterien Ihrer Datenkarte. Beispielsweise können mehrere Produktmanager, Entwickler, Data Scientists, KI-Designer und IRB-Prüfer Antworten in einer Datenkarte verwenden. In diesem Fall enthält ein guter Evaluierungsprozess Kriterien, die sich direkt auf die funktionalen, betrieblichen, nutzerfreundlichen und sicherheitsbezogenen Anforderungen für jede dieser Rollen beziehen.

Zusammenfassung

Verschiedene Analysemethoden liefern unterschiedliche Erkenntnisse zur Wirksamkeit einer Datenkarte. Sie sollten Auswertungsmethoden auswählen, die während des gesamten Transparenz-Dokumentationsprozesses von der Erstellung bis zum Start und darüber hinaus verwendet werden können.

Die vier in diesem Modul eingeführten Anforderungen (Funktionalität, Betrieb, Nutzerfreundlichkeit und Sicherheit) sowie die im zweiten Modul eingeführten Dimensionen (Verantwortlichkeit, Nützlichkeit, Qualität, Folgen der Nutzung und Risiken/Empfehlungen) sind ein guter Ausgangspunkt, um die Gesamtleistung Ihrer Datenkarte aus der direkten Perspektive der Leser zu bewerten.

2. Anforderungen ermitteln

  • Anhand der folgenden Tabelle können Sie Ihre Anforderungen ermitteln. Sie enthält die Anforderungen, mögliche Bewertungskriterien und Beispiele dafür, wie Sie feststellen können, ob Ihre Datenkarte die Kriterien für einen Leser und eine Rolle erfüllt:

Anforderung

Bewertungskriterien

Beispiel

Funktionale Ebene

Können Leser mit Ihrer Datenkarte ihre Aufgaben entsprechend ihrer jeweiligen Rolle erledigen?

Stellen Sie sich vor, ein Data Engineer möchte Ihr Dataset in seine Pipeline einbinden. Enthält die Datenkarte die Informationen, die für die erfolgreiche Implementierung der Infrastruktur erforderlich sind, die für die Verwendung des Datasets benötigt wird?

Operativ

Können Leser anhand Ihrer Datenkarte die wichtigsten Funktionen, Leistungsmessungen und anderen zugehörigen Anforderungen und Prozesse erkennen, die für die effektive Nutzung des Datensatzes erforderlich sind?

Stellen Sie sich einen Entwickler von Modellen für maschinelles Lernen (ML) vor, der ein Empfehlungssystem mit Ihrem Dataset optimieren möchte. Enthält Ihre Datenkarte genügend Informationen, um die Einschränkungen und Leistungsanforderungen zu ermitteln, die erfüllt werden müssen?

Nutzerfreundlichkeit

Können Leser einfach in Ihrer Datenkarte navigieren und mit ihr interagieren? Entspricht die Implementierung Ihrer Datenkarten den grundlegenden Usability-Heuristiken und Barrierefreiheitsstandards?

Stellen Sie sich einen Studenten vor, der Ihren Datensatz verwenden möchte, aber nur begrenzten Internetzugriff hat. Welche Herausforderungen können beim Einbetten einer interaktiven, explorativen Visualisierung Ihres Datasets in Ihre Datenkarte auftreten? Welche Arten von UI-Fehlern können verhindern, dass ein Screenreader die Datenkarte für einen sehbehinderten Nutzer übersetzt?

Sicherheit

Sind die Informationen auf der Datenkarte für Praktiker nützlich, um potenzielle unerwünschte Ergebnisse im Zusammenhang mit Ihrem Dataset in ihren Domains zu bewerten?

Stellen Sie sich ML-Experten vor, die in einem risikoreichen Bereich wie dem Gesundheitswesen arbeiten. Werden in Ihrer Datenkarte die entsprechenden Sicherheits-, Datenschutz-, Robustheits- und Compliance-Anforderungen beschrieben, die unbedingt offengelegt werden müssen, um schlechte Patientenergebnisse zu vermeiden?

Weitere Informationen finden Sie unter Mit Lesern bewerten.

3. Größen bestimmen

  • Um Ihre Dimensionen zu ermitteln, bitten Sie einen potenziellen Leser, Ihre Datenkarte anhand der fünf Dimensionen zu bewerten. Verwenden Sie dazu das folgende Formular:

52b41a36b71ccc6d.png

4. Telemetrie in großem Maßstab

Damit eine transparenzorientierte Dokumentation erfolgreich ist, müssen Sie sie als nutzerorientiertes Produkt betrachten. Die systematische Erfassung der Nutzung Ihrer Datenkarte ist erforderlich, um langfristige Transparenzstrategien und umfassende Initiativen zu unterstützen, die funktionsübergreifend sind. Es gibt keinen allgemeingültigen Ansatz, um den Erfolg von Transparenzbemühungen zu messen. Sie können jedoch eine Vielzahl von Faktoren berücksichtigen, wenn Sie Ihr Programm zur Erfolgsmessung einrichten, z. B. die Reife und die Ziele Ihrer Transparenzbemühungen, die Größe der Organisation oder die dokumentierten Datasets.

Beispielsweise ist es einfacher, bestimmte Formen der Telemetrie zur Messung der Wirksamkeit von Datenkarten in Implementierungen interaktiver Datenkarten als in PDFs einzubauen. Andererseits müssen Sie möglicherweise benutzerdefinierte Mechanismen einrichten, um die Effektivität Ihrer Datenkarte zu messen, mit denen unvollständige oder abgebrochene Datenkarten in Ihrer Organisation erfasst werden.

Wirkung messen

Im Allgemeinen lassen sich Messwerte für eine Datenkartenvorlage und ihre Einführung in sieben Kategorien einteilen: Dokumentationshygiene, Stabilität und Störanfälligkeit, Verständlichkeit, Supportfähigkeit, Conversion, Engagement und Reichweite. Diese Messwerte sind jedoch nicht gleich, sondern müssen in Ihrem jeweiligen Kontext betrachtet werden. In der folgenden Tabelle werden diese sieben Kategorien für Datenkarten und Datenkartenvorlagen aufgeführt, definiert und es wird erläutert, wann und wie sie gemessen werden:

Kategorie

Definition

Wann messen?

Messung

Dokumentationshygiene

Die Zufriedenheit, mit der die Nutzung des Datasets durch einen Leser den Erwartungen entspricht, die durch die Datenkarte geweckt werden.Die Genauigkeit, mit der die Beschreibung des Datasets durch einen Ersteller den Erwartungen entspricht, die durch die Datenkartenvorlage geweckt werden.

Vorlage: Während der Fertigstellung oder unmittelbar nachdem Dataset-Ersteller Data Cards fertiggestellt haben.

Data Card: Vor der Verteilung einer fertigen Data Card an eine Beispielzielgruppe und in regelmäßigen Abständen nach der Verteilung an tatsächliche Leser.

Vorlage: Gibt an, wie gut eine Datenkartenvorlage die Datasets beschreibt, für die sie vorgesehen ist. Mit der Rate unbeantworteter Fragen wird beispielsweise der Prozentsatz der Fragen bewertet, die für eine Klasse von Datasets durchgehend unbeantwortet bleiben.

Datenübersicht: Misst die Genauigkeit, mit der eine ausgefüllte Datenübersicht das Dataset und seine Verwendung beschreibt. Bei Vergleichen zur Leserzufriedenheit werden beispielsweise die Leserzufriedenheitswerte für eine Datenkarte erhoben und mit Ihrer Einschätzung vor der Veröffentlichung der Datenkarte verglichen.

Resilienz und Stabilität

Die Fähigkeit einer Datenkartenvorlage, Änderungen oder Ergänzungen zu widerstehen, insbesondere wenn sie in mehreren Domains verwendet wird oder wenn eine Datenkarte von verschiedenen Lesern gelesen wird.

Vorlage: Während oder unmittelbar nach dem Ausfüllen von Datenkarten durch die Produzenten. Besonders wichtig sind Überarbeitungen nach der Einführung.

Datenkarte:Wenn nach der Einführung Überarbeitungen und Ergänzungen vorgenommen werden.

Vorlage: Misst die Vielfalt der Datasets, die eine Vorlage ohne Bearbeitungen, mit den häufigsten Bearbeitungen und dem Volumen der Fragen erfasst, die falsch beantwortet oder umformuliert werden. Das Bearbeitungsverhältnis ist beispielsweise das Verhältnis zwischen der Anzahl der mit einer Vorlage erstellten Datenkarten und der Anzahl der in der Vorlage vorgenommenen Änderungen.

Datenkarte: Misst die Anzahl der Überarbeitungen und Inhaltsergänzungen, die an einer veröffentlichten Datenkarte vorgenommen wurden, sowie die Häufigkeit dieser Änderungen. Die mittlere Betriebsdauer zwischen Ausfällen gibt beispielsweise die durchschnittliche Zeit zwischen Ereignissen an, bei denen eine Datenkarte bearbeitet wird.

Verständlichkeit

Wie gut ein Ersteller eine Vorlage für Datenkarten einrichten und verwenden kann und wie effizient ein neuer Leser einer Datenkarte Informationen in einer ausgefüllten Datenkarte einrichten, sich daran gewöhnen und sie verwenden kann.

Vorlage: Wenn Dataset-Erstellern Vorlagen zur Verfügung gestellt werden, die sie während des Abschlussvorgangs mit Check-ins an Meilensteinen ausfüllen können.

Data Card: Bei der öffentlichen Verteilung oder Einführung von Data Cards.

Vorlage: Misst, wie gut die Produzenten die Vorlage für die Datenkarte verstehen und wie schwierig die einzelnen Abschnitte sind. Bei formativen Studien werden beispielsweise Leser proaktiv rekrutiert, um an Umfragen und kognitiven Rundgängen teilzunehmen und so spezifische Erkenntnisse zu gewinnen.

Datenkarte: Hier wird gemessen, wie gut Leser die Datenkarte verstehen und wie benutzerfreundlich sie ist. Außerdem wird untersucht, ob sie für verschiedene Leser geeignet ist. So werden beispielsweise mit Analysen Traffic- und Interaktionsmesswerte erfasst, um Muster im allgemeinen Verständnis zu erkennen. Seien Sie jedoch vorsichtig bei sogenannten Vanity-Messwerten.

Support

Die Kapazität für die Bereitstellung von Support zur Aufrechterhaltung von Datenkarten und die Menge des bereitgestellten Supports.

Vorlage: Sobald Sie in Ihrer Organisation eine Data Cards-Initiative einrichten, unabhängig von der Größe und ob sie ad hoc ist.

Data Card:Wenn die Data Card zur Nutzung und Nachverfolgung im Zeitverlauf verfügbar gemacht wird.

Vorlage: Misst den zusätzlichen Zeitaufwand und die zusätzliche Expertise, die für das Erstellen und Veröffentlichen einer Datenkartenvorlage erforderlich sind. Beispiel: Bei den Sprechstunden wird die Teilnahme, die Dataset-Typen und die Fragen gemessen, die während der Sprechstunden oder Supportprogramme für Dataset-Ersteller, die Data Cards erstellen, eingegangen sind.

Data Card: Hier wird gemessen, wie sich eine Data Card auf die Qualität und Einzigartigkeit von Fragen zu einem Dataset und auf die angemessene Verwendung des Datasets auswirkt. Nach dem Start werden beispielsweise Fehler, Fragen oder Funktionsanfragen, die sich auf den Datensatz beziehen, als Probleme erfasst, die nicht von der Datenübersicht beantwortet werden.

Conversion

Erfasst den Prozentsatz der Ersteller, die eine Datenkarte anhand einer Vorlage erstellen und veröffentlichen, und den Prozentsatz der Leser, die Entscheidungen zu einem Dataset auf Grundlage der zugehörigen Datenkarte treffen.

Vorlage: Sobald Sie in Ihrer Organisation eine Data Cards-Kampagne einrichten, unabhängig von der Größe und ob sie ad hoc ist.

Data Card: Wenn die Data Card zur Nutzung verfügbar ist und im Zeitverlauf verfolgt werden kann.

Vorlage: Hier wird gemessen, wie oft Produzenten Datenkartenvorlagen ausfüllen. Bei der Analyse werden beispielsweise die Abschlussrate, die Zeit bis zur Veröffentlichung und der Prozentsatz der relevanten Abschnitte in einer Data-Card-Vorlage erfasst.

Data Card: Misst, wie oft Leser auf Grundlage von Data Cards Entscheidungen treffen. In qualitativen Studien werden beispielsweise Interviews und Zufriedenheitsstudien mit Lesern durchgeführt, die Aufschluss über die Genauigkeit von Entscheidungen und die Abschlussrate von Aufgaben geben.

Engagement

Hier siehst du, wie aktiv deine Zuschauer mit deinen Inhalten interagieren, z. B. mit deiner Datenkarte.

Vorlage: Nachdem Vorlagen für Datenkarten in Ihrer Organisation erstellt und verteilt wurden.

Datenkarte: Wenn die Datenkarte öffentlich zusammen mit den Datasets verfügbar ist, die sie repräsentiert. Dieser Messwert ist weniger nützlich, wenn die Datenkarte nicht auffindbar ist oder konkurrierende (nicht ergänzende) Dokumentationsquellen vorhanden sind.

Vorlage: Misst das Maß an Beteiligung und Engagement, das Datenersteller in einem Data Card-Programm haben. Beispiel:

  • Die Vorlagenfreigaberate ist der Prozentsatz der Ersteller, die Datenkarten-Vorlagen für andere Dataset-Inhaber freigeben.
  • Die organische Erstellungsrate ist der Prozentsatz der Datenkarten, die ohne Aufforderung erstellt werden.
  • Die Qualität der Antworten bezieht sich auf die Richtigkeit und Nützlichkeit der Informationen, die in Datenkarten bereitgestellt werden.

Datenkarte: Hier wird die Nutzung der Datenkarte und die Generierung von Wissen daraus gemessen.
Beispiele:

  • Die Häufigkeit der Nutzung gibt an, wie oft sich Agenten oder Dataset-Nutzer die Datenkarte ansehen, um weitere Informationen zu erhalten.
  • Mit „Per section“ werden Engagement-Messwerte für jeden Abschnitt einer Datenkarte gemessen und Deep-Link-Freigaben für jeden Abschnitt der Datenkarte erfasst.

Reichweite

Erfasst die Gesamtzahl der einzelnen Nutzer, die Ihre Datenkarte sehen. Das ist eine wichtige Voraussetzung für zusätzliche Messwerte wie Engagement und Conversion.

Vorlage: Nachdem Vorlagen für Datenkarten erstellt und in Ihrer Organisation verteilt wurden.

Datenkarte: Wenn die Datenkarte öffentlich zusammen mit den Datasets verfügbar ist, die sie repräsentiert. Dieser Messwert ist weniger nützlich, wenn die Datenkarte nicht auffindbar ist oder konkurrierende (nicht ergänzende) Dokumentationsquellen vorhanden sind.

Vorlage: Misst die Anzahl der Datenkarten, die eine Organisation im Verhältnis zur Anzahl der Datasets erstellen kann.

Datenkarte: Misst den Traffic und die Qualität, die eine Datenkarte erhält, sowie den Traffic, den sie für das Dataset generiert. In Reibungslogs werden beispielsweise die Herausforderungen, Schwierigkeiten oder Frustrationen erfasst, die Dataset-Ersteller und Data Card-Leser während Fokusgruppensitzungen haben.

Weitere Informationen finden Sie unter Telemetry at Scale.

Für die Operationalisierung dieser Telemetriemesswerte sind möglicherweise unterschiedliche Ressourcen und unterschiedlicher Support erforderlich. Für Fokusgruppen, in denen untersucht wird, wie produzentenfreundlich eine Datenkarte ist, sind beispielsweise ganz andere Ressourcen erforderlich als für Analysen, in denen die Abschlussraten von Datenkarten erfasst werden. Ebenso erfordert die Analyse des Traffics zu einer Datenkarte relativ weniger Ressourcen als eine Reihe von Interviews nach der Einführung, in denen die Interaktionsraten analysiert werden. Sie können diese verschiedenen Kategorien mit funktionsübergreifenden Entscheidungsträgern in Ihrer Organisation durchgehen, um festzulegen, welche zur Messung der Auswirkungen verwendet werden sollen und wie.

Zusammenfassung

Messwerte, mit denen die Auswirkungen einer Datenkarte gemessen werden, unterscheiden sich von denen, mit denen der Fortschritt beim Ausfüllen der Datenkarte gemessen wird. Die Reife eines Datasets kann sich auf die Interpretation von Messwerten auf Datenkarten auswirken. Berücksichtigen Sie die Reife und Beliebtheit des Datensatzes und ziehen Sie quantitative, qualitative und anekdotische Auswirkungen gemeinsam in Betracht.

5. Messwerte auswählen

Wie bereits erwähnt, hängt es vom Kontext ab, welche Messwerte Sie benötigen, um Ihre Transparenzziele zu erreichen.

So wählen Sie Ihre Messwerte aus:

  1. Ziele diversifizieren: Legen Sie Teamziele für Ihre Transparenzbemühungen fest, die nicht nur Ihren Fortschritt beim Erstellen der Datenkarte bewerten, sondern auch die Auswirkungen auf Ihre Leser, nachdem Sie sie erstellt und veröffentlicht haben.
  2. Lead- und Lag-Messwerte definieren: Legen Sie für jeden Verzögerungsmesswert, der angibt, wann Sie ein Ziel erreichen, Lead-Messwerte fest, um wichtige Aktivitäten zu erfassen, die zum Ziel beitragen.
  3. Legen Sie einen Rhythmus für ergänzende, qualitative Studien fest. Wenn Sie die erforderliche Infrastruktur einrichten, um Datenkarten in Ihrer Organisation zu analysieren, sollten Sie einen Plan erstellen, um regelmäßig qualitative Studien durchzuführen, um Ergebnisse zu überprüfen und quantitative Messwerte zu optimieren.
  4. Einzelne Datenteams schulen. Teams, die Datasets und Datenkarten erstellen, können qualitative und quantitative Messwerte im Kontext ihrer Datasets und Datenkarten gemeinsam interpretieren.

6. Glückwunsch

Glückwunsch! Sie haben alles, was Sie zum Erstellen einer Datenkarte benötigen. Jetzt können Sie Ihr Wissen in einem Quiz testen.