1. Evaluación
Ahora que tu tarjeta de datos está lista para publicarse, debes completar las siguientes acciones de seguimiento para lograr tus objetivos de transparencia:
- Usa métodos de evaluación para obtener estadísticas sobre el rendimiento de tu tarjeta de datos con los lectores.
- Haz un seguimiento sistemático del uso y la adopción de tus esfuerzos con las tarjetas de datos para asegurarte de que se alineen con los intereses de tus lectores.
En este módulo, se ofrecen algunos enfoques para auditar tu Tarjeta de datos completada y garantizar el éxito continuo mucho después de su lanzamiento.
Como se mencionó en módulos anteriores, el objetivo principal de un lector de tarjetas de datos es realizar evaluaciones sobre el conjunto de datos. Por lo tanto, cualquier evaluación de la Tarjeta de datos de un conjunto de datos debe centrarse en si el lector puede llegar a conclusiones aceptables sobre el conjunto de datos.
La información de una tarjeta de datos debe alinearse con la experiencia del lector al usar el conjunto de datos. Esto afecta directamente las creencias del lector sobre la confiabilidad y la credibilidad del conjunto de datos y, posteriormente, la reputación y la confianza en los autores o publicadores del conjunto de datos.
A la inversa, las creencias existentes de un lector sobre tu conjunto de datos, tu organización y otros conjuntos de datos publicados por tu organización también pueden influir en cómo interactúa con tu tarjeta de datos, independientemente de qué tan fácil sea de descubrir, usar o qué tan bien construida esté.
Por ejemplo, los lectores que tuvieron una experiencia positiva con los conjuntos de datos publicados anteriormente por una organización podrían confiar más en un nuevo conjunto de datos publicado por los mismos autores. En este caso, es posible que el lector realice saltos intuitivos y no lea la nueva Tarjeta de datos con la suficiente atención como para comprender el conjunto de datos de la mejor manera posible y, específicamente, cómo difiere de un conjunto de datos similar más antiguo.
Por lo tanto, la evaluación de una Tarjeta de datos requiere enfoques que puedan determinar si los lectores pueden llegar a conclusiones aceptables del conjunto de datos en sus contextos. Estas son diferentes de las evaluaciones del conjunto de datos en sí, que podrían no revelar mucho sobre la efectividad de su Tarjeta de datos adjunta. En cambio, debes evaluar tu tarjeta de datos a través de un estudio de usuarios, por ejemplo, que te ayude a comprender si diferentes lectores entienden tu contenido o a descubrir si tus lectores aún obtienen estadísticas prácticas mientras iteras en tu tarjeta de datos. Otro enfoque es medir la adopción y la eficacia de tu tarjeta de datos a través de la satisfacción del usuario, las encuestas y las estadísticas en la implementación de la tarjeta de datos. En este sentido, una tarjeta de datos puede ser una herramienta útil para impulsar y evaluar el éxito de tu conjunto de datos, y brindar una imagen más clara de las necesidades de tus partes interesadas posteriores.
Requisitos
Hay una variedad de partes interesadas en el ciclo de vida de un conjunto de datos, cada una con diferentes niveles de fluidez de datos, experiencia en el dominio y requisitos.
Un requisito es una declaración que identifica una característica o restricción operativa, funcional o de diseño de un producto o proceso que es inequívoca, verificable y necesaria para la aceptación del producto o proceso. Los objetivos de tu conjunto de datos, las partes interesadas en el ciclo de vida del conjunto de datos y la implementación de tus iniciativas de transparencia desempeñan un papel en el establecimiento de los requisitos y los criterios de evaluación de tu Tarjeta de datos. Por ejemplo, varios gerentes de productos, ingenieros, científicos de datos, diseñadores de IA y revisores de la IRB pueden usar las respuestas de una tarjeta de datos. En este caso, un buen proceso de evaluación contiene criterios que se relacionan directamente con los requisitos funcionales, operativos, de usabilidad y de seguridad para cada uno de estos roles.
Resumen
Los diferentes métodos de evaluación arrojan diferentes estadísticas sobre la eficacia de una Tarjeta de datos. Deseas seleccionar métodos de evaluación que se puedan usar durante todo el proceso de documentación de la transparencia, desde la creación hasta el lanzamiento y después.
Los cuatro requisitos que se presentan en este módulo (funcional, operativo, de usabilidad y de seguridad), junto con las dimensiones que se presentan en el segundo módulo (responsabilidad, utilidad, calidad, consecuencia del uso y riesgo/recomendaciones), son un buen punto de partida para evaluar el rendimiento general de tu tarjeta de datos desde la perspectiva directa de los lectores.
2. Determina tus requisitos
- Para determinar tus requisitos, usa la siguiente tabla, que incluye los requisitos, los posibles criterios de evaluación y ejemplos de formas de determinar si tu tarjeta de datos cumple con esos criterios teniendo en cuenta un lector y un rol:
Requisito | Criterios de evaluación | Ejemplo |
Funcional | ¿Tu tarjeta de datos permite que los lectores completen sus tareas según sus respectivos roles? | Considera un ingeniero de datos interesado en integrar tu conjunto de datos en su canalización. ¿Tu tarjeta de datos tiene la información necesaria para implementar correctamente la infraestructura necesaria para usar el conjunto de datos? |
Operacional | ¿Tu tarjeta de datos permite que los lectores identifiquen las capacidades esenciales, las medidas de rendimiento y otros requisitos y procesos asociados necesarios para usar el conjunto de datos de manera eficaz? | Considera un creador de modelos de aprendizaje automático (AA) que desea ajustar un sistema de recomendación con tu conjunto de datos. ¿Tu tarjeta de datos tiene suficiente información para determinar las restricciones y las necesidades de rendimiento que se deben cumplir? |
Usabilidad | ¿Los lectores pueden navegar e interactuar fácilmente con tu tarjeta de datos? ¿La implementación de tu Tarjeta de datos cumple con la heurística básica de usabilidad y los estándares de accesibilidad? | Considera el caso de un estudiante investigador que quiere usar tu conjunto de datos, pero tiene acceso limitado a Internet. ¿Qué tipo de desafíos podría generar la incorporación de una visualización interactiva y exploratoria de tu conjunto de datos en tu tarjeta de datos? ¿Qué tipos de descuidos en la IU podrían impedir que un lector de pantalla traduzca la Tarjeta de datos para un lector con visión reducida? |
Seguridad | ¿La información proporcionada en la tarjeta de datos es útil para que los profesionales evalúen los posibles resultados no deseados asociados con tu conjunto de datos en sus dominios? | Considera a los profesionales del AA que trabajan en un dominio de alto riesgo, como el de la atención médica. ¿Tu tarjeta de datos describe los requisitos adecuados de seguridad, privacidad, solidez y cumplimiento que necesariamente se deben divulgar para evitar resultados deficientes en los pacientes? |
Para obtener más información, consulta Cómo realizar evaluaciones con lectores.
3. Determina tus dimensiones
- Para determinar tus dimensiones, invita a un lector potencial a evaluar tu Tarjeta de datos en las cinco dimensiones y usa el siguiente formulario para evaluar qué tan bien se desempeña tu Tarjeta de datos en cada una:
4. Telemetría a gran escala
Para que cualquier tipo de documentación orientada a la transparencia tenga éxito, debes tratarla como un producto centrado en el usuario. Es necesario hacer un seguimiento sistemático del uso de tu tarjeta de datos para fundamentar las estrategias de transparencia a largo plazo y las iniciativas amplias que abarcan límites multifuncionales. Si bien no existe un enfoque único para medir el éxito de las iniciativas de transparencia, hay una variedad de factores que puedes tener en cuenta cuando configures tu programa de seguimiento del impacto, como la madurez y los objetivos de tu iniciativa de transparencia, la escala de la organización o los conjuntos de datos documentados.
Por ejemplo, descubres que algunas formas de telemetría para medir la eficacia de las tarjetas de datos son más fáciles de incorporar en las implementaciones de tarjetas de datos interactivas que en los archivos PDF. Por otro lado, la medición de la eficacia de tu Tarjeta de datos podría requerir que configures mecanismos personalizados que midan las Tarjetas de datos incompletas o abandonadas en tu organización.
Medición del impacto
En términos generales, las métricas de una plantilla de tarjeta de datos y su adopción se pueden clasificar en siete categorías: higiene de la documentación, resiliencia y estabilidad, comprensibilidad, capacidad de asistencia, conversión, participación y alcance. Sin embargo, estas métricas no son iguales, sino que deben considerarse en tus contextos. En la siguiente tabla, se enumeran, definen y explican cuándo y cómo medir estas siete categorías para las tarjetas de datos y las plantillas de tarjetas de datos:
Categoría | Definición | Cuándo realizar la medición | Cómo hacer la medición |
Higiene de la documentación | Es la satisfacción con la que la experiencia de un lector al usar el conjunto de datos se alinea con las expectativas creadas por su tarjeta de datos.Es la precisión con la que la experiencia de un productor al describir el conjunto de datos se alinea con las expectativas establecidas por la plantilla de la tarjeta de datos. | Plantilla: Durante la finalización o inmediatamente después de que los productores de conjuntos de datos completen las Tarjetas de datos. | Plantilla: Mide qué tan bien una plantilla de tarjeta de datos describe los conjuntos de datos para los que está diseñada. Por ejemplo, la tasa de preguntas sin respuesta evalúa el porcentaje de preguntas que no se responden de forma coherente para una clase de conjuntos de datos. |
Resiliencia y estabilidad | Capacidad de una plantilla de tarjeta de datos para resistir modificaciones o adiciones, en especial si se usa en varios dominios o cuando diversos lectores leen una tarjeta de datos. | Plantilla: Durante la finalización o inmediatamente después de que los productores completen las Tarjetas de datos En particular, ten en cuenta las revisiones realizadas después del lanzamiento. | Plantilla: Mide la diversidad de los conjuntos de datos que captura una plantilla sin ediciones, las ediciones más comunes y la cantidad de preguntas que se responden de forma incorrecta o se reutilizan. Por ejemplo, la proporción de edición es la proporción entre la cantidad de tarjetas de datos creadas con una plantilla y la cantidad de ediciones realizadas en la plantilla. |
Comprensibilidad | Qué tan bien un productor puede incorporar y usar una plantilla de Tarjeta de datos, y con qué eficiencia un nuevo lector de una Tarjeta de datos puede incorporarse, habituarse y usar la información en una Tarjeta de datos completada. | Plantilla: Cuando se proporcionan plantillas a los productores de conjuntos de datos para que las completen con registros en los hitos durante el proceso de finalización. | Plantilla: Mide la comprensión de los productores sobre la plantilla de la tarjeta de datos y la dificultad de sus secciones. Por ejemplo, los estudios formativos reclutan de forma proactiva a lectores para que participen en encuestas y simulaciones cognitivas para obtener estadísticas específicas. |
Compatibilidad | Capacidad para brindar asistencia y mantener las Tarjetas de datos, y cantidad de asistencia brindada. | Plantilla: Tan pronto como configures un esfuerzo de Tarjetas de datos en tu organización, independientemente de la escala y si es ad hoc. | Plantilla: Mide el tiempo y la experiencia adicionales necesarios para completar y publicar una plantilla de tarjeta de datos. Por ejemplo, las horas de oficina miden la asistencia, los tipos de conjuntos de datos y las preguntas recibidas durante las horas de oficina o los programas de asistencia para los productores de conjuntos de datos que crean tarjetas de datos. |
Conversión | Realiza un seguimiento del porcentaje de productores que completan y publican una tarjeta de datos a partir de una plantilla, y del porcentaje de lectores que toman decisiones sobre un conjunto de datos en función de su tarjeta de datos. | Plantilla: Tan pronto como configures un esfuerzo de Tarjetas de datos en tu organización, independientemente de la escala y si es ad hoc. | Plantilla: Mide las tasas de éxito de los productores en la finalización de las plantillas de tarjetas de datos. Por ejemplo, las estadísticas hacen un seguimiento del porcentaje de finalización y el tiempo de lanzamiento, y el porcentaje de secciones relevantes en una plantilla de Tarjeta de datos. |
Participación | Realiza un seguimiento del nivel de participación de tu público con tu contenido, como tu tarjeta de datos. | Plantilla: Después de que se establecen y circulan las plantillas de tarjetas de datos en tu organización. | Plantilla: Mide el nivel de participación y compromiso que tienen los productores de conjuntos de datos en un programa de Tarjetas de datos. Por ejemplo:
Tarjeta de datos: Mide el uso de la Tarjeta de datos y la generación de conocimiento a partir de ella.
|
Alcance | Realiza un seguimiento de la cantidad total de personas únicas que ven tu Tarjeta de datos. Este es un precursor importante de métricas adicionales, como la participación y la conversión. | Plantilla: Después de que se establezcan y circulen las plantillas de tarjetas de datos en tu organización. | Plantilla: Mide la cantidad de tarjetas de datos que puede producir una organización en relación con la cantidad de conjuntos de datos que tiene. |
Para obtener más información, consulta Telemetry at Scale.
La implementación de estas métricas de telemetría puede requerir diferentes niveles de recursos y asistencia. Por ejemplo, los grupos de enfoque que analizan qué tan amigable para los productores es una Tarjeta de datos requieren un conjunto de recursos considerablemente diferente en comparación con los análisis que registran las tasas de finalización de las Tarjetas de datos. Del mismo modo, medir el tráfico a una Tarjeta de datos requiere relativamente menos recursos que una serie de entrevistas posteriores al lanzamiento que analizan los niveles de participación. Puedes revisar estas diferentes categorías con los responsables de la toma de decisiones interfuncionales de tu organización para determinar cuáles se deben usar para hacer un seguimiento del impacto y cómo hacerlo.
Resumen
En última instancia, las métricas que miden el impacto de una tarjeta de datos son diferentes de las que miden tu progreso hacia la finalización de la tarjeta de datos. La antigüedad de un conjunto de datos puede cambiar la forma en que interpretas las métricas de la Tarjeta de datos. Ten en cuenta la madurez y la popularidad del conjunto de datos, y considera el impacto cuantitativo, cualitativo y anecdótico de forma unísona.
5. Selecciona tus métricas
Como se mencionó, tu contexto determina las métricas que necesitas para asegurarte de cumplir con tus objetivos de transparencia.
Para seleccionar tus métricas, sigue estos pasos:
- Diversifica tus objetivos. Establece objetivos de equipo para tus iniciativas de transparencia que no solo evalúen tu progreso hacia la finalización de la tarjeta de datos, sino también su impacto en los lectores después de que la crees y la lances.
- Define las métricas de adelanto y rezago. Para cada métrica de rezago que te indica cuándo alcanzas un objetivo, establece métricas de adelanto para hacer un seguimiento de las actividades críticas que contribuyen al objetivo.
- Establece una cadencia para los estudios cualitativos complementarios. A medida que configures la infraestructura necesaria para medir las Tarjetas de datos en toda tu organización, crea un plan para realizar estudios cualitativos de forma periódica y verificar los resultados, así como calibrar las métricas cuantitativas.
- Capacita a los equipos de datos individuales. Permitir que los equipos que producen conjuntos de datos y tarjetas de datos interpreten las métricas cualitativas y cuantitativas al unísono en el contexto de sus conjuntos de datos y tarjetas de datos
6. Felicitaciones
¡Felicitaciones! Ya tienes todo lo que necesitas para crear una tarjeta de datos. Ahora puedes realizar un cuestionario para poner a prueba tus conocimientos.