Modul 1: Fragen

1. Typologie der Stakeholder

Bevor Sie mit der Dokumentation von Datensätzen beginnen und Datenkarten erstellen, ist es wichtig, dass Sie Stakeholder aus dem gesamten Lebenszyklus des Datensatzes identifizieren und einladen. So lassen sich leichter Datenkarten erstellen, da Sie alles haben, was Sie für fundierte Entscheidungen bei der Erstellung von Inhalten benötigen.

Damit Sie besser nachvollziehen können, wie funktionsübergreifende Stakeholder in den Lebenszyklusprozess eines Datasets eingebunden sind, haben wir eine Typologie erstellt, mit der Sie Annahmen aufdecken können, die oft über einzelne Stakeholder getroffen werden. Unsere Typologie ist in drei Stakeholder-Gruppen unterteilt, die am Lebenszyklus eines Datasets beteiligt sind: Ersteller, Vermittler und Nutzer.

Diese Typologie stellt ein Kontinuum sich ständig ändernder Anforderungen und Erwartungen an Datasets und ihre Dokumentation dar. Es gibt keine einheitliche Lösung.

Produzenten

Datenersteller erstellen Datasets und Dokumentationen und sind für die Erhebung, das Eigentum, die Einführung und die Wartung von Datasets verantwortlich.

Im Grunde sind Produzenten für die Produktion und Veröffentlichung von Datasets sowie für die Einführung, Akzeptanz und/oder den Erfolg verantwortlich.

Produzenten können auch die Personen oder Gruppen sein, die rekrutiert werden, um die Daten zu erheben oder zu kennzeichnen und an verschiedenen Stellen während des Datenlebenszyklus Ratschläge zu Methoden oder zur Interpretation zu geben.

Je nach Kontext können Ersteller auch Ihre aktuellen und zukünftigen Teammitglieder, Partner, Kunden oder Datenhosting-Plattformen sein, die alle für die Wartung, Bereitstellung und Überwachung von Datasets verantwortlich sind.

Agents

Vertreter sind Stakeholder, die Ihre Dataset-Dokumentation oder Data Card und andere Dokumentationen zu Machine-Learning-Modellen (ML) lesen und die Befugnis haben, die beschriebenen Datasets oder KI-Systeme zu verwenden oder zu bestimmen, wie sie oder andere sie verwenden dürfen.

Je nach ihren Bereichen können Agents eine operative oder eine Prüferrolle haben, z. B. ein Forscher in einem akademischen Umfeld, der die angemessene Verwendung eines Datasets einschätzen möchte, oder ein Data Scientist in einem Produktteam, der die allgemeine Eignung des Datasets in Bezug auf die Produktintegration ermitteln möchte.

Diese Unterscheidung ist wichtig, da Prüfer auch Stakeholder umfassen, die das Dataset möglicherweise nie direkt verwenden, aber trotzdem mit der Datenkarte interagieren, z. B. Branchenberater, investigative Journalisten, Community-Vertreter und juristische Personen. Kundenservicemitarbeiter haben möglicherweise nicht das technische Know-how, um Informationen in der typischen Dataset-Dokumentation zu finden, können aber bei Bedarf auf Expertenwissen zugreifen.

Nutzer

Nutzer sind Einzelpersonen und Vertreter, die mit Produkten interagieren, die auf Modellen basieren, die mit Datasets trainiert wurden.

Nutzer stimmen möglicherweise zu, ihre Daten im Rahmen der Produktnutzung bereitzustellen. Sie benötigen jedoch in der Regel eine Reihe von Erklärungen und Einstellungen, die sich auf die Produktnutzung beziehen, auch wenn es um Datasets geht.

Zusammenfassung

In der folgenden Tabelle sind die Stakeholder-Gruppen nach Beschreibung, Verantwortlichkeiten, Beispielen und häufigen Aufgaben zusammengefasst:

Stakeholder-Gruppe

Beschreibung

Verantwortlichkeiten

Beispiele

Häufige Aufgaben

Produzenten

Datasets und/oder Dokumentation erstellen

Datasets entwerfen, erstellen, auf Qualität prüfen, dokumentieren, einführen, übernehmen, verwalten und aktualisieren.

Forscher, Data Scientists und Analysten, Softwareentwickler sowie Produkt- und Programmmanager

Übernahme von Datasets, Offenlegung, Zukunftsfähigkeit, Fairness und Sicherheit sowie Verbesserungen

Agents

Das Dataset für ihre Arbeit, Produkte, Organisationen oder Communities auswerten und verwenden.

Sie können die Data Card verwenden, aber nicht mit dem Dataset selbst interagieren.

ML- oder Produktentwickler, Forscher, Drittanbieter, Fachexperten, Branche, Berater, Richtlinienexperten, Datenanbieter sowie Führungskräfte oder das Management

Komplexität verwalten, Verantwortung übernehmen, Kompromisse eingehen, in der Produktion bereitstellen, archivieren

Nutzer

Mit den Produkten, Geräten und Apps interagieren, die von Agenten erstellt wurden, die die Datasets des Produzenten verwenden.

Möglicherweise können sie ihre Daten über Produkte beitragen und hilfreiche Signale für Produzenten und Vertreter liefern.

Datenbeitragende, Produktnutzer und Vertreter von Nutzerkohorten

Produkte nutzen, Daten und Datenschutz verstehen, Feedback geben und Bedenken äußern

2. Stakeholder zuordnen

Nachdem Sie sich mit unserer Typologie vertraut gemacht haben, können Sie den Lebenszyklus Ihres Datensatzes überprüfen, um Ihre Stakeholder anhand dieser einfachen Mapping-Aktivität zu identifizieren. Achten Sie während der Übung darauf, wer mit dem Dataset oder der zugehörigen Dokumentation interagieren könnte. Überlegen Sie auch, wie Stakeholder zu den Datenkarten beitragen können.

So ordnen Sie Ihre Stakeholder zu:

  1. Geben Sie die Ersteller an, die die Data Cards erstellen werden.

9019cf76931e3ae5.png

  1. Geben Sie die Mitarbeiter an, die die Datenkarten lesen und verwenden werden.

a6c5bfc2fadd8cb5.png

  1. Geben Sie die Nutzer an, die das in der Datenkarte beschriebene Dataset verwenden oder von ihm betroffen sind.

210d18c6ec533955.png

  1. Verwenden Sie die folgende Vorlage, um eine Übersicht Ihrer Stakeholder, ihrer Rollen bei der Erstellung von Datenkarten und des Zwecks ihrer Datenkarten zu erstellen. Diese Karte gibt Ihnen einen Eindruck von den nachgelagerten Anforderungen an die Dokumentation von Datasets und ermöglicht es Ihnen, Prioritäten und Verantwortlichkeiten während des gesamten Dokumentationsprozesses zuzuweisen.

d24cf1a113189a25.png

3. Agent-Informationspfade (AIJs)

Nachdem Sie Ihre Stakeholder identifiziert haben, können Sie festlegen, was Sie den Kundenservicemitarbeitern – Ihren primären Stakeholdern – in Ihrer Datenkarte mitteilen müssen, damit sie erfolgreich sein können.

Die Erfahrung, die eine Person bei der Interaktion mit Technologie macht, wird in der Regel als User Journey bezeichnet. Hier geht es jedoch um einen Agent, der genügend Informationen zu einem Datensatz benötigt, um eine fundierte Entscheidung zu treffen. Daher bezeichnen wir diese Vorgänge als Agent Information Journey (AIJ).

Ziel einer KI-Prüfung ist es, Folgendes zu ermitteln:

  • Die Aufgaben, für die Agents ein Dataset benötigen.
  • Die Informationen, die Agents benötigen, um ihre Aufgaben zu erledigen.
  • Der Prozess, durch den Agents Informationen ableiten.

AIJs umfassen Folgendes:

51ce23c7a9aaa9e4.png

Beispiel

Angenommen, einer Ihrer Agents ist ein Data Scientist. Ein AIJ für einen Data Scientist könnte so aussehen:

Als Data Scientist möchte ich die Struktur des Datasets kennen und frage daher:

… welches Datenformat wird verwendet?

... was ist die Modalität des Datasets?

Wie viele Features gibt es im Dataset?

… wie viele Funktionen sind entwickelt?

… welche Funktionen stark korreliert sind?

… ob es Abhängigkeiten in der Struktur gibt?

Hier ist ein weiteres Beispiel für einen Kundenservicemitarbeiter, der möglicherweise im Bereich Produktrichtlinien arbeitet und Richtlinien für die Produktion und Entwicklung eines Produkts festlegt:

Als Mitarbeiter im Bereich Richtlinien möchte ich wissen, wie die Daten missbraucht werden könnten. Deshalb frage ich…

… was war die beabsichtigte Verwendung des Datasets?

… welche Anwendung hat die Erstellung des Datasets ausgelöst?

… welche bekannten gefährlichen oder riskanten Anwendungen des Datasets gibt es?

… welches Risiko besteht für bestimmte Gruppen?

… wie wirken sich die beabsichtigten Verwendungszwecke dieses Datasets auf die Wähler aus?

... wie kann man Einspruch einlegen?

4. AIJs schreiben

  1. Schreibe ein paar AIJs basierend auf den folgenden Prompts:

ab594f2e5ce86029.png

  1. Sie haben nicht nur Ihre Stakeholder im Blick, sondern auch einige erste Fragen, die sie Ihrer Meinung nach nach dem Lesen Ihrer Datenkarte beantwortet haben möchten. Sie sind also einen Schritt näher an den endgültigen Fragen, die Sie in Ihre Datenkarte aufnehmen sollten.

5. Optik

Möglicherweise haben Sie bemerkt, dass die Begriffe Perspektive, Linse und Bereich verwendet werden, um AIJs zu kontextualisieren. Diese Begriffe wurden zwar bereits definiert, sind aber Teil einer Leitmetapher, die wir Optik nennen. Wir haben sie erstellt, damit Sie sich überlegen können, wie Ihre Agents Ihre Daten verstehen können.

Bereiche

In der Optik werden Linsen und Spiegel verwendet, um Materialien zu erkennen, zu beobachten, zu vergrößern, zu reflektieren und sogar zu testen. Im Kontext von Datasets ist das eine gute Metapher, weil Sie Fragen so fokussieren und formulieren, dass offensichtliche, nicht offensichtliche, sichtbare und unsichtbare Aspekte aufgedeckt werden.

Wir nennen das Bereiche. Damit können Sie eine Reihe von Fragen nacheinander stellen, um Datasets zu analysieren. Durch das Stapeln von Bereichen mit unterschiedlichen Granularitäten können Sie Inhalte erstellen, die Ihren Kundenservicemitarbeitern helfen, Datasets in Transparenzberichten besser zu verstehen.

In der folgenden Tabelle finden Sie die drei Arten von Bereichen in unserem Framework sowie eine Beschreibung, ein Beispiel und den Zweck der einzelnen Bereiche:

Ebene

Beschreibung

Beispiel

Purpose

Telescopic

Fragen zu Attributen, die häufig in mehreren Datasets vorkommen. Sie kennzeichnen Merkmale.

Enthält dieses Dataset personenidentifizierbare Informationen?

Stellen Sie zusätzliche Informationen vor und geben Sie Kontext an, damit Ihre Kundenservicemitarbeiter sich in Ihrer Datenkarte oder Ihrem Transparenzartefakt zurechtfinden.

Periskopisch

Fragen zu Attributen, die spezifisch für den Datasatz des Produzenten sind. Sie beschreiben Beobachtungen.

Wie viele Funktionen enthalten personenidentifizierbare Informationen?

In der Regel für die Bereitstellung von Betriebsinformationen wie Form und Größe des Datasets oder funktionalen Informationen wie Quellen oder Absichten reserviert.

Mikroskopisch

Fragen zu nicht beobachtbaren Aspekten von Datasets, z. B. Entscheidungen, Prozessen und Auswirkungen. Sie verlangen Erklärungen.

Wie wurden personenidentifizierbare Informationen in diesem Datensatz anonymisiert?

Detaillierte Erklärungen zu Entscheidungen erhalten oder längere Prozessdokumente zusammenfassen lassen, die Antworten auf die entsprechenden periskopischen und teleskopischen Fragen regeln.

Es ist wichtig, dass Sie diese drei Arten von Bereichen während des gesamten Prozesses zum Erstellen von Datenkarten berücksichtigen. Eine Datenübersichtskarte, die nur Teleskope enthält, beschreibt nur offensichtliche Informationen zu Ihrem Dataset und bietet keinen Mehrwert. Eine Datenkarte mit nur Periskopen kann zu technisch werden, wenn keine Details zu Kontext, Relevanz oder Bedeutung enthalten sind. Eine Datenkarte mit nur Mikroskopen könnte dazu führen, dass sich Kundenservicemitarbeiter leicht in den Details verlieren und das große Ganze aus den Augen verlieren.

Daher sind die Interpretationen einer Datenkarte stark davon abhängig, ob diese Umfangsebenen vorhanden sind oder nicht. Mithilfe dieser Fragen können Agenten und Produzenten Risiken bewerten, Gegenmaßnahmen planen und gegebenenfalls Möglichkeiten für eine bessere Datensatzerstellung ermitteln. Teleskope, Periskope und Mikroskope liefern zusammen nützliche Details, damit sich zahlreiche Stakeholder in Ihrer Datenkarte orientieren können, ohne sich zu verirren.

Beispiel

Im Abschnitt Agent Information Journeys (AIJs) haben Sie einige Beispiele für AIJs gesehen, darunter eines für einen Data Scientist. Wenn Sie sich das Beispiel genau ansehen, werden Sie feststellen, dass Sie einige dieser Fragen nach Bereichen gruppieren können, darunter die folgenden Fragen:

Als Data Scientist möchte ich die Struktur des Datasets kennen und frage daher:

Teleskop

… welches Datenformat wird verwendet?

... was ist die Modalität des Datasets?

Periscopic

Wie viele Features gibt es im Dataset?

… wie viele Funktionen sind entwickelt?

Mikroskopisch

… welche Funktionen stark korreliert sind?

… ob es Abhängigkeiten in der Struktur gibt?

Wahrscheinlich haben Sie bereits einige Fragen mit Teleskop-, Periskop- und Mikroskop-Ansatz im Hinterkopf.

6. AIJs mit Bereichen umstrukturieren

  • Verwenden Sie den folgenden Beispiel-Prompt, um Ihre AIJs mit Bereichen neu zu strukturieren:

2b6e2a7a041060f4.png

7. Glückwunsch

Glückwunsch! Sie haben mit dem Erstellen einer Data Card begonnen. Jetzt können Sie Ihre Fragen bewerten.