Modul 2: Untersuchen

1. Wissenserwerb

Themen ergeben sich ganz natürlich, wenn Sie Ihre Stakeholder-Typologie untersuchen, ihre individuellen Informationsanforderungen erfassen und Ihre Fragen in unterschiedlichen Detaillierungsgraden formulieren. Damit Sie Ihre Fragen sortieren und strukturieren können, haben wir ein Framework für den Wissenserwerb entwickelt, das Ihnen einen robusten, durchdachten und wiederholbaren Ansatz für die Erstellung von Transparenzdokumentation bietet.

Die Wissensbeschaffung umfasst das Extrahieren, Strukturieren und Organisieren von Wissen aus einer Quelle – in der Regel menschliche Experten –, damit es beispielsweise in dem Produkt oder der Technologie verwendet werden kann, an dem Sie arbeiten.

Unser Framework heißt OFTEn. Es ist ein konzeptionelles Tool, mit dem systematisch untersucht werden kann, wie sich Themen in allen Teilen einer Datenkarte verbreiten. Wir haben sie durch detaillierte induktive und deduktive Untersuchungen zur Datensatztransparenz erstellt.

OFTEn

OFTEn ist eine Abkürzung für die allgemeinen Phasen im Lebenszyklus von Datasets: Origins (Quellen), Factuals (Istwerte), Transformations (Transformationen), Experience (Erfahrung) und n = 1 (Stichproben).

Origins

In der Phase „Ursprung“ werden die verschiedenen Planungsaktivitäten durchgeführt, die das Endergebnis bestimmen, z. B. die Definition von Anforderungen, Methoden zum Erheben oder Beschaffen von Daten sowie Design- und Richtlinienentscheidungen.

Zu den Themen, die sich aus Fragen zum Ursprung ergeben, gehören:

• Autoren und Inhaber
• Motivation
• Vorgesehene Anwendungen
• Erfassungsmethoden
• Lizenzen
• Versionen
• Quellen
• Errata
• Verantwortliche

Fakten

Die Factuals-Phase umfasst die statistischen und anderen sachlichen Attribute, die das Dataset beschreiben, Abweichungen vom ursprünglichen Plan und alle Analysen vor der Bereinigung.

Themen, die sich aus Fragen vom Typ „Faktisch“ ergeben, sind unter anderem:

• Anzahl der Instanzen
• Anzahl der Merkmale
• Anzahl der Label
• Quelle der Labels
• Datenquelle
• Aufschlüsselung nach Untergruppen
• Form der Funktionen
• Beschreibung der Funktionen
• Fehlende oder doppelte Daten
• Aufnahmekriterium

Transformationen

Die Transformationsphase umfasst Zusammenfassungen von Labeling-, Annotierungs- oder Validierungsaufgaben. Je nach Dataset können hier Prozesse zur Schiedsgerichtsbarkeit zwischen Ratern erforderlich sein. Auch Feature Engineering und Änderungen, die zur Verarbeitung von Datenschutz-, Sicherheits- oder personenidentifizierbaren Informationen (PII) vorgenommen werden, gelten als Transformationen.

Zu den Themen, die Fragen zum Transformationstyp abdecken, gehören die folgenden:

• Bewertung oder Annotation
• Filtern
• In Bearbeitung
• Validierung
• Statistische Eigenschaften
• Synthetische Features
• Umgang mit personenidentifizierbaren Informationen
• Sensible Variablen
• Auswirkungen auf die Fairness
• Verzerrungen oder Voreingenommenheit

Erfahrung

In der Experience-Phase werden die Daten für bestimmte Aufgaben verwendet. Dazu sind Zugriffsschulungen erforderlich. Außerdem müssen die Daten an die jeweilige Aufgabe angepasst werden. Anschließend werden Ergebnisse abgerufen und mit anderen ähnlichen Datasets verglichen. Dabei werden alle erwarteten oder unerwarteten Verhaltensweisen notiert.

Beispiele für Themen, die Fragen zum Typ „Erfahrung“ veranschaulichen:

• Beabsichtigte Leistung
• Nicht bestimmungsgemäße Anwendung
• Leistung nicht wie erwartet
• Vorsichtsmaßnahmen
• Statistiken
• Websitevarianten
• Stories
• Verwenden
• Bewertung von Anwendungsfällen

n = 1 (Stichproben)

In der Phase „n = 1 (Samples)“ geht es um die Ein- und Ausgänge von Verteilungsdatenpunkten, die Darstellung wichtiger Datenpunkte mit bestimmten Attributen und, falls zutreffend, die Modellierung von Ergebnissen für diese Datenpunkte.

Beispielfragen können sich auf folgende Themen beziehen:

• Beispiele oder Links zu typischen Beispielen und Ausreißern.
• Beispiele, die zu falsch positiven oder falsch negativen Ergebnissen führen.
• Beispiele für den Umgang mit Null- oder Nullwerten für Merkmale.

Beispiel

Die folgenden Fragen wurden beispielsweise mit OFTEn angeordnet:

	Wer	Was	Wann	Wo	Warum	Wie
Ursprünge	Wer veröffentlicht das Dataset? Unterscheiden sie sich von den Dataset-Inhabern?	Welche Anreize gibt es für die Datenkennzeichner, ‑anbieter und ‑experten, die für dieses Dataset eingesetzt werden?	Wann wurde dieses Dataset erstellt? Eingeführt?	Woher kam die Finanzierung?	Warum wurde dieses Dataset erstellt? Wie sah der Prozess vorher aus?	Wie wurden die Methoden festgelegt und wie viele Parteien waren beteiligt?
Fakten	Auf wen beziehen sich die Daten? Sind die Labeler repräsentativ für die Personen in den Daten?	Welche Untergruppen in den Daten können sich auf die Ergebnisse beim maschinellen Lernen auswirken?	Für welchen Zeitraum gelten die Daten? Wann laufen Daten ab oder werden ungewöhnlich ausgeführt?	Wo kann auf das Dataset zugegriffen werden? Wo wurden die Daten erhoben oder erstellt?	Warum wurden die gemeldeten Messwerte ausgewählt? Warum wurden die jeweiligen Labels ausgewählt?	Wie viele eindeutige Labels gibt es im Dataset? Wie wurden diese generiert?
Transformationen	Wie wurden personenbezogene Daten in diesem Dataset verarbeitet? Können Ergebnisse aus diesem Datensatz verwendet werden, um Einzelpersonen zu identifizieren?	Welche Methoden wurden verwendet, um diesen Datensatz zu bereinigen oder zu überprüfen?	Wann und wie sollten Features entwickelt werden? Müssen diese aktualisiert werden?	Korrelieren Standortfunktionen mit anderen sensiblen Funktionen?	Warum wurden die ausgewählten Transformationen auf den Datensatz angewendet?	Wie werden Bias oder personenidentifizierbare Informationen in den Daten behandelt?
Erfahrung	Wer kann dieses Dataset verwenden und für welche Aufgaben? Sind Schulungen erforderlich?	Welche Methoden, Ergebnisse oder Fehler wurden bei der Verwendung des Datasets entdeckt?	Unter welchen Umständen und wann sollte dieser Datensatz nicht verwendet werden?	Wo auf der Welt ist dieser Datensatz verfügbar? Wo wurde es verwendet?	Warum unterscheidet sich die erwartete Darstellung des Datasets von der beobachteten Darstellung?	Wie teuer sind Daten in verschiedenen Teilen der Welt?
n = 1 (Stichproben)	Ist der Datenpunkt typisch oder atypisch? Wie verhalten sich Modelle hier?	Wie groß ist der Datenpunkt? Wie funktioniert die Einwilligung, Schwärzung und der Widerruf, um in einen Datenpunkt einzugreifen?	Wann ändert sich das Ergebnis für einen Datenpunkt? Beispiele anhand von kontrafaktischen Aussagen veranschaulichen?	Welche Faktoren sind im Datenpunkt enthalten? Welche Risiken bestehen, wenn Vorhersagen falsch sind?	Warum ist dieser Bilddatenpunkt auf eine bestimmte Weise zugeschnitten? Warum sind bestimmte Kategorien in diesem Datenpunkt nicht enthalten?	Wie bezieht sich dieser Datenpunkt auf eine reale Eingabe? Wie bezieht sich das Ergebnis auf eine reale Ausgabe?

Wir haben festgestellt, dass sich Datenkarten mit einer klaren zugrunde liegenden OFTEn-Struktur leicht erweitern und aktualisieren lassen. Mit OFTEn können Data Cards im Laufe der Zeit um Themen erweitert werden, die normalerweise nicht in der Dokumentation enthalten sind, z. B. Feedback von nachgelagerten Kundenservicemitarbeitern, wichtige Unterschiede zwischen Versionen und Ad-hoc-Prüfungen oder Untersuchungen von Produzenten oder Kundenservicemitarbeitern.

Zusammenfassung

In der folgenden Tabelle wird das OFTEn-Framework zusammengefasst und die allgemeinen Phasen im Lebenszyklus eines Datasets beschrieben:

Bühne	Beschreibung
Ursprünge	Frühe Phasen des Lebenszyklus eines Datasets, in denen Entscheidungen zur Erstellung eines Datasets getroffen werden.
Fakten	Tatsächliche Datenerfassungsprozesse und Rohausgaben.
Transformationen	Rohdaten werden durch Vorgänge wie Filtern, Validieren, Parsen, Formatieren und Bereinigen in eine nutzbare Form umgewandelt.
Erfahrung	Das Dataset wird in der Praxis getestet, als Benchmark verwendet oder bereitgestellt (experimentell, Produktion oder Forschung).
n = 1 (Stichproben)	Tatsächliche Stichproben aus dem Dataset oder Vignetten, die normale Datenpunkte und Ausreißer darstellen.

Es gibt zwei Möglichkeiten, OFTEn beim Erstellen einer Datenkarte zu verwenden:

• Induktiv unterstützt OFTEn Aktivitäten mit Kundenservicemitarbeitern, um Fragen zu Datasets und zugehörigen Modellen zu formulieren, die für die Entscheidungsfindung entscheidend sind. Wenn viele Agents zusammenkommen, um Fragen mit einer OFTEn-Struktur zu brainstormen, werden Informationen aufgedeckt, die für gezielte Entscheidungen erforderlich sind.
• Deduktiv kann OFTEn verwendet werden, um zu beurteilen, ob eine Datenkarte das Dataset genau repräsentiert. Dies hat formative Auswirkungen auf die Dokumentation und das Dataset. Beispielsweise sind Datasets in der Anfangsphase stärker auf „Origins“ und „Factuals“ ausgerichtet, während bei ausgereiften Datasets eine Ausrichtung auf „Experience“ erwartet wird.

Mit OFTEn können Sie Ideen sammeln und prüfen, wie gut Ihre Fragen den Lebenszyklus Ihres Datasets abdecken. So stellen Sie sicher, dass Ihre Inhalte umfassend und optimiert sind. So können Sie nicht nur Redundanzen bei den von Ihnen erstellten Fragetypen finden, sondern auch Lücken schließen.

2. Fragen mit OFTEn formulieren

1. Denken Sie an einige Ihrer Stakeholder und Agent Information Journeys (AIJs), die Sie im vorherigen Modul formuliert haben, und verwenden Sie dann die folgenden Prompts, um Ihre Gedanken zu strukturieren.

2. Wenn einige Ihrer Fragen bereits gut in eine der OFTEn-Kategorien passen, kennzeichnen Sie sie entsprechend.
3. Wenn Ihre Fragen nicht in eine der OFTEn-Kategorien fallen, wählen Sie einen Ihrer Kundenservicemitarbeiter aus dem vorherigen Modul aus und erstellen Sie dann mindestens eine Frage pro OFTEn-Kategorie für den Kundenservicemitarbeiter.
4. Erstellen Sie zusätzliche Fragen basierend auf den fünf Ws (wer, was, wo, wann und warum) und einem H (wie), um die Tiefe Ihrer OFTEn-Kategorie zu erhöhen.
5. Wiederholen Sie diese Schritte gegebenenfalls für den nächsten Kundenservicemitarbeiter.

Hinweis:Bei dieser Aktivität kann es vorkommen, dass sich einige Fragen mehreren OFTEn-Kategorien zuordnen lassen. Wählen Sie in diesem Fall die relevantere Kategorie aus. Berücksichtigen Sie dabei, welche Art von Erklärungen Sie für den jeweiligen Agenten benötigen. So lassen sich Redundanzen minimieren.

Wenn Ihnen für eine bestimmte OFTEn-Kategorie keine Frage einfällt, ist das in Ordnung. Das hängt vom Kontext ab. Für einige ist es möglich, dass bestimmte OFTEn-Kategorien für einen bestimmten Kundenservicemitarbeiter nicht sehr relevant sind. Das ist jedoch Teil des Prozesses, um Lücken in Ihrem Fragensatz zu identifizieren und zu ermitteln, wie Sie diese schließen können.

3. Dimensionen

Nachdem Sie nun die OFTEn-Methode verstanden und Fragen für Ihre Datenkarte erstellt haben, können Sie sich einen ersten Überblick verschaffen und Erkenntnisse zu Ihren Fragen gewinnen. Dazu führen wir Dimensionen ein. Das sind allgemeine Beschreibungen der verschiedenen Arten von Bewertungen, die Leser abgeben. Sie geben Aufschluss über die Nützlichkeit und Lesbarkeit der Datenkarte. Anders ausgedrückt: Kann Ihre Datenkarte Lesern helfen, eine fundierte Schlussfolgerung zu Ihrem Datensatz zu ziehen?

Accountable

Eine verantwortungsbewusste Datenkarte wird von Personen erstellt und verwaltet, die angemessene Verantwortung, Reflexion, Argumentation und systematische Entscheidungsfindung in Bezug auf den Datensatz und seine Verwendung zeigen.

Beispielbereiche	Beispielfragen
Autorenschaft, Verantwortung, Wartung, Absichten	Als [perspective] möchte ich Folgendes wissen: ...über die Publisher des Datasets. ...über die Zugriffsbeschränkungen und Richtlinien des Datasets. ...über Erklärungen und Motivationen für die Erstellung des Datasets.

Nützlichkeit oder Verwendung

Eine nützliche Datenkarte enthält Details, die den Informationsbedarf der Leser decken. Dies führt zu einem verantwortungsvollen Entscheidungsprozess, bei dem die Eignung des Datasets für ihre Aufgaben und Ziele festgestellt wird.

Beispielbereiche

Beispielfragen

Anforderungen von Produzenten,Anforderungen von Agenten, Anforderungen von Nutzern, gesellschaftliche Anforderungen

Als [perspective] möchte ich Folgendes wissen: ...Definitionen und Erklärungen für technische Begriffe, die in der Dokumentation verwendet werden (Messwerte, Werte, branchenspezifische Begriffe, Akronyme). ...Erwartungen hinsichtlich der Verwendung des Datasets mit anderen Datasets oder Tabellen (Feature Engineering, Zusammenführen, Sampling und vergleichende Analyse). ...die beabsichtigten Anwendungen des Datasets.

Qualität

Eine hochwertige Datenkarte fasst die Strenge, Integrität und Vollständigkeit des Datasets zusammen. Die Informationen werden oft so vermittelt, dass sie für Leser mit unterschiedlichem Hintergrund zugänglich und verständlich sind.

Beispielbereiche	Beispielfragen
Gültigkeit,Zuverlässigkeit, Integrität, Reproduzierbarkeit	Als [perspective] möchte ich Folgendes wissen: ...ob es bekannte Muster (Korrelationen, Bias oder Abweichungen) im Datensatz gibt. ...welche Prozesse zur Validierung des Datensatzes angewendet wurden, sowie Erklärungen und Ergebnisse. ...welche Datenschutz- und Sicherheitsmaßnahmen auf den Datensatz angewendet wurden.

Auswirkungen oder Folgen der Nutzung

Eine Datenkarte, die die Auswirkungen der Dataset-Nutzung angemessen beschreibt, schafft Erwartungen für die Ergebnisse bei der Verwendung und Verwaltung des Datasets und berücksichtigt alle Folgen erster oder zweiter Ordnung, die sich negativ auf die Ziele der Leser auswirken könnten.

Beispielbereiche	Beispielfragen
Wirksamkeit, Relevanz, Gruppenvorteil,Auswirkungen von Abweichungen	Als [perspective] möchte ich Folgendes wissen: ...die bisherige Nutzung und die zugehörige Leistung des Datasets (z. B. trainierte Modelle) ...die mit dem Dataset verknüpften Richtlinien (z. B. Lizenzierung) ...ob es bekannte Muster (Korrelationen, Verzerrungen oder Abweichungen) im Dataset gibt.

Risiken und Empfehlungen

Eine Datenkarte mit guten Empfehlungen macht Leser auf bekannte und potenzielle Risiken und Einschränkungen aufmerksam, die sich aus der Herkunft, Darstellung, Verwendung oder dem Nutzungskontext ergeben, und bietet genügend Informationen und Alternativen, damit Leser verantwortungsbewusste Entscheidungen treffen können.

Beispielbereiche	Beispielfragen
Risikogröße, Risikominderungen, Empfehlungen, Schäden für Gruppen	Als [Perspektive] möchte ich Folgendes wissen: …die Sicherheit (Risiken, Einschränkungen und Kompromisse) bei der Verwendung des Datasets. …die soziokulturelle, geografische oder wirtschaftliche Repräsentation von Personen im Dataset. …ob Attribute im Dataset oder in der Dokumentation fehlen.

Zusammenfassung

Mithilfe von Dimensionen können Sie Ihre Fragen so auswerten, dass sie Ihren Zielen und gewünschten Ergebnissen entsprechen. Auch wenn Sie eine Frage in Ihrer Datenkarte noch nicht beantwortet haben, ist es am besten, Fehler zu beheben, bevor Sie sich zu sehr in den Prozess der Dokumentation des Datasets vertiefen.

In der folgenden Tabelle sind die fünf Dimensionen zusammengefasst:

Bühne	Beschreibung
Rechenschaftspflicht	Aussagen, die die reflektierten, angemessenen und systematischen Entscheidungen verschiedener Stakeholder bezüglich des Vertrauens in das Dataset ausdrücken.
Utility	Enthält Details, die den Anforderungen der Leser an einen verantwortungsbewussten Entscheidungsprozess entsprechen, und zeigt, ob die Anwendungsfälle für ihre Ziele geeignet sind.
Qualität	Fasst die Strenge, Integrität und Vollständigkeit des Datasets zusammen, das auf eine für viele Leser zugängliche Weise kommuniziert wird.
Auswirkungen und Folgen	Informationen, die Lesern helfen, ihre gewünschten Ergebnisse zu erzielen, wenn sie das Dataset verwenden und verwalten, und die Folgen berücksichtigen, die sich negativ auf ihre Ziele auswirken könnten.
Risiken und Empfehlungen	Macht Leser auf bekannte und potenzielle Risiken aufmerksam, die mit dem Dataset verbunden sind und sich aus der Darstellung, Verwendung oder dem Nutzungskontext ergeben.

Mit diesen verschiedenen Dimensionstypen können Sie bereits vor dem Ausfüllen der Datenkarte Informationen zur Inhaltsqualität, Lesbarkeit und Nützlichkeit erhalten. Sie helfen Ihnen, Maßnahmen zu ermitteln, die zu einer robusteren und optimierten Datenkartenvorlage beitragen.

4. Fragen mit Dimensionen auswerten

1. Beginnen Sie mit einer einzelnen Dimension und ermitteln Sie dann, wie viel Fachwissen und Expertise erforderlich sind, um auf Grundlage der Komplexität Ihrer Fragen zu einer fundierten Schlussfolgerung zu gelangen.
2. Geben Sie eine Begründung dafür an, wie gut diese Dimension derzeit durch Ihre Fragen abgedeckt wird.
3. Geben Sie anhand von ein oder zwei Beispielfragen aus Ihrem Fragensatz Nachweise an, die Ihre Begründung untermauern.
4. Wenn die Dimension nicht optimal ist, notieren Sie sich die Schritte, die erforderlich sind, um sie zu optimieren oder Mängel zu beheben. Wenn Sie mit einem Team von Stakeholdern zusammenarbeiten, sollten Sie die Verantwortung zuweisen, da einige Stakeholder besser geeignet sind, bestimmte Fragen zu beantworten.
5. Wiederholen Sie diese Schritte für die nächste Dimension.

Hinweis:In diesem Zusammenhang bezieht sich „Vertrautheit“ auf die Vertrautheit und das Vertrauen der Leser Ihrer Datenkarten, wenn sie mit Daten arbeiten, die innerhalb oder außerhalb ihres Fachgebiets liegen. Je besser Sie Daten verstehen, bearbeiten und verwenden können, desto flüssiger geht es.

Fachwissen bezieht sich auf das Wissen und Verständnis der wesentlichen Aspekte eines bestimmten Untersuchungsbereichs in Bezug auf den in Ihrer Datenkarte beschriebenen Datensatz.

Hier ist eine Beispielvorlage, mit der Sie die Bewertung Ihrer Dimensionen erfassen können:

Dieser Prozess kann je nach Anzahl der Fragen, die Sie erstellen, und der Vielfalt der Stakeholder, die Sie für Ihre Datenkarte berücksichtigen müssen, zwischen 15 Minuten und einer Stunde dauern.

Hinweis:Einige Informationsthemen in Ihrer Datenkarte tragen zu mehreren Dimensionen bei, andere nur zu einer. Es gibt keine allgemeingültige Lösung. Für verschiedene Datasets und die zugehörige Dokumentation gelten unterschiedliche Anforderungen und Erwartungen.

5. Glückwunsch

Glückwunsch! Sie können die Fragen, die Sie für Ihre Datenkarte erstellt haben, prüfen. Jetzt können Sie sie beantworten.