Módulo 4: auditoria

1. Avaliação

Agora que o card de dados está pronto para publicação, você precisa concluir as seguintes ações de acompanhamento para alcançar seus objetivos de transparência:

• Use métodos de avaliação para entender a performance do seu card de dados com os leitores.
• Acompanhe sistematicamente o uso e a adoção dos seus esforços de card de dados para garantir que ele esteja alinhado ao interesse dos leitores.

Este módulo oferece algumas abordagens para auditar seu cartão de dados concluído e garantir o sucesso contínuo muito depois do lançamento.

Como mencionado em módulos anteriores, o principal objetivo de um leitor de card de dados é fazer avaliações sobre o conjunto de dados. Portanto, qualquer avaliação de um cartão de dados de um conjunto de dados deve se concentrar em saber se o leitor pode chegar a conclusões aceitáveis sobre o conjunto de dados.

As informações em um card de dados precisam estar alinhadas com a experiência de uso do conjunto de dados pelo leitor. Isso afeta diretamente as crenças do leitor sobre a confiabilidade e a credibilidade do conjunto de dados e, consequentemente, a reputação e a confiança nos autores ou editores dele.

Por outro lado, as crenças de um leitor sobre seu conjunto de dados, organização e outros conjuntos de dados publicados por ela também podem influenciar a forma como ele interage com o card de dados, independentemente de quão fácil de descobrir, usável ou bem construído ele seja.

Por exemplo, leitores com uma experiência positiva de conjuntos de dados publicados anteriormente por uma organização podem confiar mais em um novo conjunto de dados publicado pelos mesmos autores. Nesse caso, há uma chance de o leitor fazer deduções intuitivas e não ler o novo cartão de dados com atenção suficiente para ter a melhor compreensão possível do conjunto de dados e, especificamente, como ele difere de um conjunto de dados semelhante mais antigo.

Portanto, a avaliação de um card de dados exige abordagens que possam determinar se os leitores chegam a conclusões aceitáveis sobre o conjunto de dados nos contextos deles. Elas são diferentes das avaliações do próprio conjunto de dados, que podem não revelar muito sobre a eficácia da ficha de dados acompanhada. Em vez disso, você precisa avaliar o card de dados com algo como um estudo de usuários, que ajuda a entender se o conteúdo é compreendido por diferentes leitores ou descobrir se eles ainda chegam a insights úteis enquanto você itera no card. Outra abordagem é medir a adoção e a eficácia do card de dados usando a satisfação do usuário, pesquisas e análises na implementação do card. Nesse sentido, um card de dados pode ser uma ferramenta útil para impulsionar e avaliar o sucesso do seu conjunto de dados, além de dar uma ideia mais clara das necessidades dos seus stakeholders downstream.

Requisitos

Há vários stakeholders no ciclo de vida de um conjunto de dados, cada um com diferentes níveis de fluência em dados, experiência no domínio e requisitos.

Um requisito é uma declaração que identifica uma característica operacional, funcional ou de design de um produto ou processo, ou uma restrição que é inequívoca, testável e necessária para a aceitabilidade do produto ou processo. As metas do conjunto de dados, as partes interessadas no ciclo de vida dele e a implementação das suas iniciativas de transparência têm um papel no estabelecimento dos requisitos e critérios de avaliação do card de dados. Por exemplo, vários gerentes de produto, engenheiros, cientistas de dados, designers de IA e revisores do IRB podem usar respostas em um cartão de dados. Nesse caso, um bom processo de avaliação contém critérios relacionados diretamente aos requisitos funcionais, operacionais, de usabilidade e de segurança para cada uma dessas funções.

Resumo

Diferentes métodos de avaliação geram insights diferentes sobre a eficácia de um card de dados. Você quer selecionar métodos de avaliação que possam ser usados em todo o processo de documentação de transparência, desde a criação até o lançamento e depois.

Os quatro requisitos apresentados neste módulo (funcional, operacional, usabilidade e segurança), junto com as dimensões apresentadas no segundo módulo (responsabilidade, utilidade, qualidade, consequência do uso e risco/recomendações), são um bom ponto de partida para avaliar a performance geral do seu card de dados na perspectiva direta dos leitores.

2. Determine seus requisitos

• Para determinar seus requisitos, use a tabela a seguir, que inclui os requisitos, quais podem ser os critérios de avaliação e exemplos de maneiras de determinar se o card de dados atende a esses critérios com um leitor e uma função em mente:

Requisito	Critérios de avaliação	Exemplo
Funcional	O cartão de dados permite que os leitores concluam as tarefas de acordo com as respectivas funções?	Imagine um engenheiro de dados interessado em integrar seu conjunto de dados ao pipeline dele. O card de dados tem as informações necessárias para implementar a infraestrutura necessária para usar o conjunto de dados?
Operacional	O card de dados permite que os leitores identifiquem os recursos essenciais, as medidas de desempenho e outros requisitos e processos associados necessários para usar o conjunto de dados de maneira eficaz?	Considere um criador de modelos de machine learning (ML) que quer ajustar um sistema de recomendação com seu conjunto de dados. O card de dados tem informações suficientes para determinar as restrições e necessidades de performance que precisam ser atendidas?
Usabilidade	Os leitores conseguem navegar e interagir com o card de dados com facilidade? A implementação do seu card de dados atende às heurísticas básicas de usabilidade e aos padrões de acessibilidade?	Considere um estudante pesquisador que quer usar seu conjunto de dados, mas tem acesso limitado à Internet. Quais tipos de desafios podem surgir ao incorporar uma visualização interativa e exploratória do seu conjunto de dados no card de dados? Que tipos de falhas na interface podem impedir que um leitor de tela traduza o card de dados para um leitor com baixa visão?
Segurança	As informações fornecidas no card de dados são úteis para os profissionais avaliarem possíveis resultados indesejáveis associados ao seu conjunto de dados nos domínios deles?	Considere profissionais de ML que trabalham em um domínio de alto risco, como a área da saúde. Seu cartão de dados descreve os requisitos adequados de segurança, privacidade, robustez e compliance que precisam ser divulgados para evitar resultados ruins para os pacientes?

Para mais informações, consulte Avaliar com leitores.

3. Determinar as dimensões

• Para determinar suas dimensões, convide um leitor em potencial para avaliar seu card de dados nas cinco dimensões e use o formulário a seguir para avaliar o desempenho do card em cada uma delas:

4. Telemetria em escala

Para que qualquer forma de documentação orientada à transparência seja bem-sucedida, você precisa tratar a documentação como um produto centrado no usuário. É necessário acompanhar sistematicamente o uso do seu card de dados para fundamentar estratégias de transparência de longo prazo e iniciativas amplas que abrangem limites multifuncionais. Não existe uma abordagem única para medir o sucesso das iniciativas de transparência, mas há vários fatores que podem ser considerados ao configurar seu programa de acompanhamento de impacto, como a maturidade e as metas da iniciativa, a escala da organização ou os conjuntos de dados documentados.

Por exemplo, algumas formas de telemetria para medir a eficácia dos cards de dados são mais fáceis de incorporar em implementações de cards de dados interativos do que em PDFs. Por outro lado, a medição da eficácia do seu card de dados pode exigir a configuração de mecanismos personalizados que medem cards de dados incompletos ou abandonados na sua organização.

Avaliação do impacto

Em geral, as métricas de um modelo de card de dados e a adoção dele podem ser classificadas em sete categorias: higiene da documentação, resiliência e estabilidade, capacidade de compreensão, capacidade de suporte, conversão, engajamento e alcance. No entanto, essas métricas não são iguais. Elas precisam ser consideradas nos seus contextos. A tabela a seguir lista, define e explica quando e como medir essas sete categorias para cards de dados e modelos de cards de dados:

Observação:os modelos de card de dados são os esquemas de metadados que os produtores preenchem com detalhes sobre o conjunto de dados para criar cards de dados. Em outras palavras, o conjunto de perguntas que você cria nos codelabs Módulo 1: Perguntar e Módulo 2: Inspecionar é seu modelo, e o codelab Módulo 3: Responder fornece orientações sobre como concluir. Embora o processo de criação de um modelo seja o mesmo de um card de dados único, talvez você queira criar um lote de cards de dados com componentes repetíveis. Isso é especialmente útil se você iniciar vários conjuntos de dados semelhantes e quiser usar cards de dados para compará-los. Nesse caso, é necessário medir o impacto não apenas do card de dados, mas também do modelo. A tabela a seguir ajuda a medir o impacto em qualquer um dos casos.

Categorias	Definição	Quando medir	Como medir
Higiene da documentação	A satisfação com que a experiência de um leitor ao usar o conjunto de dados se alinha às expectativas criadas pelo card de dados.A precisão com que a experiência de um produtor ao descrever o conjunto de dados se alinha às expectativas definidas pelo modelo de card de dados.	Modelo: durante a conclusão ou imediatamente depois que os produtores de conjuntos de dados terminarem os cards de dados. Card de dados: antes da distribuição de um card de dados concluído com um grupo de público-alvo de amostra e em uma cadência regular após a distribuição com leitores reais.	Modelo: mede a qualidade com que um modelo de card de dados descreve os conjuntos de dados a que se destina. Por exemplo, a taxa de perguntas sem resposta avalia a porcentagem de perguntas que não são respondidas de forma consistente para uma classe de conjuntos de dados. Card de dados: mede a precisão com que um card de dados concluído descreve o conjunto de dados e o uso dele. Por exemplo, as comparações de satisfação do leitor coletam pontuações de satisfação do leitor para um card de dados e as comparam à sua avaliação antes do lançamento do card.
Resiliência e estabilidade	A capacidade de um modelo de cartão de dados resistir a modificações ou adições, especialmente se usado em vários domínios ou quando um cartão de dados é lido por diversos leitores.	Modelo: durante a conclusão ou imediatamente depois que os produtores terminarem os cards de dados. Principalmente as revisões feitas após o lançamento Card de dados:quando revisões e adições são feitas após o lançamento.	Modelo: mede a diversidade de conjuntos de dados que um modelo captura sem edições, com as edições mais comuns e com o volume de perguntas respondidas incorretamente ou reutilizadas. Por exemplo, a proporção de edições é a relação entre o número de cards de dados criados com um modelo e a quantidade de edições feitas no modelo. Card de dados: mede o número de revisões e adições de conteúdo feitas em um card de dados publicado e a frequência dessas mudanças. Por exemplo, o tempo médio entre falhas mede o tempo médio entre um evento em que um card de dados é editado.
Compreensibilidade	A facilidade com que um produtor pode integrar e usar um modelo de card de dados e a eficiência com que um novo leitor pode integrar, se acostumar e usar as informações em um card de dados concluído.	Modelo: ao fornecer modelos para os produtores de conjuntos de dados preencherem com check-ins em marcos durante o processo de conclusão. Card de dados: após a distribuição pública ou o lançamento de cards de dados.	Modelo: mede a compreensão dos produtores sobre o modelo de card de dados e a dificuldade das seções dele. Por exemplo, os estudos formativos recrutam leitores de forma proativa para participar de pesquisas e simulações cognitivas para insights específicos. Card de dados: mede a compreensão e a usabilidade do card de dados pelos leitores, além da adequação dele para diferentes leitores. Por exemplo, a análise acompanha o tráfego e as métricas de engajamento para identificar padrões na compreensão geral. No entanto, tenha cuidado com as métricas de vaidade.
Compatibilidade	A capacidade de oferecer suporte para manter os cards de dados e a quantidade de suporte fornecido.	Modelo: assim que você configurar um projeto de cards de dados na sua organização, seja qual for a escala, e se ele for ad hoc. Card de dados:quando o card de dados é disponibilizado para consumo e acompanhamento ao longo do tempo.	Modelo: mede o tempo e a experiência adicionais necessários para concluir e publicar um modelo de card de dados. Por exemplo, o horário de atendimento mede a participação, os tipos de conjuntos de dados e as perguntas recebidas durante o horário de atendimento ou os programas de suporte para produtores de conjuntos de dados que criam cards de dados. Card de dados: mede como um card de dados afeta a qualidade e a exclusividade das perguntas sobre um conjunto de dados e a influência nos usos adequados dele. Por exemplo, problemas pós-lançamento rastreiam bugs, perguntas ou solicitações de recursos relacionados ao conjunto de dados arquivados como problemas que não são respondidos pela ficha de dados.
Conversão	Rastreia a porcentagem de produtores que preenchem e publicam um card de dados com base em um modelo e a porcentagem de leitores que tomam decisões sobre um conjunto de dados com base no card de dados dele.	Modelo: assim que você configurar uma iniciativa de cards de dados na sua organização, seja qual for a escala e se ela for ad hoc. Card de dados: quando o card de dados é disponibilizado para consumo e acompanhamento ao longo do tempo.	Modelo: mede as taxas de sucesso do produtor ao preencher modelos de card de dados. Por exemplo, a análise acompanha a taxa de conclusão e o tempo até o lançamento, além da porcentagem de seções relevantes em um modelo de card de dados. Card de dados: mede a taxa de sucesso do leitor ao tomar decisões com base nos cards de dados. Por exemplo, estudos qualitativos realizam entrevistas e pesquisas de satisfação com leitores que geram insights sobre a precisão das decisões e a taxa de conclusão de tarefas.
Engajamento	Rastreia o nível de envolvimento do público com seu conteúdo, como o card de dados.	Modelo: depois que os modelos de card de dados forem estabelecidos e divulgados na sua organização. Card de dados: quando o card de dados estiver disponível publicamente com os conjuntos de dados que ele representa. Essa métrica é menos útil se o card de dados não for detectável ou tiver fontes de documentação concorrentes, não complementares.	Modelo: mede o nível de envolvimento e comprometimento dos produtores de conjuntos de dados em um programa de cards de dados. Exemplo: A taxa de compartilhamento de modelos é a porcentagem de produtores que compartilham modelos de card de dados com outros proprietários de conjuntos de dados. A taxa de criação orgânica é a porcentagem de cards de dados criados sem necessidade. A qualidade das respostas é a precisão e a utilidade das informações fornecidas nos cards de dados. Card de dados: mede o uso do card de dados e a geração de conhecimento com base nele. Por exemplo: O uso repetido mede o número de vezes que os agentes ou usuários do conjunto de dados consultam o card de dados para mais informações. Por seção, mede as métricas de engajamento por seção de um card de dados e acompanha os compartilhamentos de links diretos por seção do card de dados.
Alcance	Rastreia o número total de pessoas únicas que veem seu card de dados. Esse é um precursor importante para outras métricas, como engajamento e conversão.	Modelo: depois que os modelos de card de dados forem estabelecidos e divulgados na sua organização. Card de dados: quando o card de dados estiver disponível publicamente com os conjuntos de dados que ele representa. Essa métrica é menos útil se o card de dados não for detectável ou tiver fontes de documentação concorrentes, não complementares.	Modelo: mede o número de cards de dados que uma organização pode produzir em relação ao número de conjuntos de dados que ela tem. Card de dados: mede o tráfego e a qualidade que um card de dados recebe e o tráfego que ele traz para o conjunto de dados. Por exemplo, os registros de atrito rastreiam os desafios, as dificuldades ou as frustrações que os produtores de conjuntos de dados e os leitores de cards de dados podem ter durante as sessões de grupo focal.

Para mais informações, consulte Telemetria em grande escala.

Observação:a maturidade de um conjunto de dados influencia a eficácia do card de dados e a interpretação das métricas.

A operacionalização dessas métricas de telemetria pode exigir diferentes níveis de recursos e suporte. Por exemplo, os grupos focais que analisam o quão fácil é para um produtor usar um cartão de dados exigem um conjunto de recursos consideravelmente diferente em comparação com as análises que registram as taxas de conclusão do cartão de dados. Da mesma forma, medir o tráfego para um card de dados exige relativamente menos recursos do que uma série de entrevistas pós-lançamento que analisam os níveis de engajamento. Analise essas categorias com os responsáveis por decisões multifuncionais na sua organização para determinar quais devem ser usadas para acompanhar o impacto e como.

Resumo

No final, as métricas que medem o impacto de um card de dados são diferentes daquelas que medem seu progresso para concluir o card. A maturidade de um conjunto de dados pode mudar a forma como você interpreta as métricas do card de dados. Considere a maturidade e a popularidade do conjunto de dados, além do impacto quantitativo, qualitativo e anedótico em uníssono.

5. Selecionar suas métricas

Como mencionado, seu contexto determina as métricas necessárias para garantir que você cumpra suas metas de transparência.

Para selecionar suas métricas, siga estas etapas:

1. Diversifique suas metas: estabeleça metas de equipe para suas iniciativas de transparência que não apenas avaliem seu progresso em relação à conclusão do card de dados, mas também o impacto dele nos leitores depois que você o criar e lançar.
2. Defina métricas de lead e de defasagem. Para cada métrica de atraso que informa quando você atinge uma meta, estabeleça métricas de lead para acompanhar as atividades críticas que contribuem para ela.
3. Defina uma cadência para estudos complementares e qualitativos. Ao configurar a infraestrutura necessária para medir os cards de dados em toda a organização, crie um plano para realizar estudos qualitativos regularmente e verificar os resultados e calibrar as métricas quantitativas.
4. Treine equipes de dados individuais. Permitir que as equipes que produzem conjuntos de dados e cards de dados interpretem métricas qualitativas e quantitativas em união no contexto dos conjuntos de dados e cards de dados.

6. Parabéns

Parabéns! Você tem tudo o que é necessário para criar um card de dados. Agora você já pode fazer um teste para avaliar seu conhecimento.