1. 평가
이제 데이터 카드를 게시할 준비가 되었으므로 투명성 확보를 위해 다음과 같은 후속 조치를 완료해야 합니다.
- 평가 방법을 사용하여 독자에게 데이터 카드가 어떻게 표시되는지 파악하세요.
- 독자의 관심사에 부합하는지 확인하기 위해 데이터 카드 노력의 사용 및 채택을 체계적으로 추적하세요.
이 모듈에서는 출시 후에도 지속적인 성공을 위해 완료된 데이터 카드를 감사하는 몇 가지 방법을 제공합니다.
이전 모듈에서 언급했듯이 데이터 카드 리더의 주요 목표는 데이터 세트에 대한 평가를 내리는 것입니다. 따라서 데이터 세트의 데이터 카드를 평가할 때는 독자가 데이터 세트에 대해 허용 가능한 결론을 내릴 수 있는지에 중점을 두어야 합니다.
데이터 카드의 정보는 데이터 세트 사용자의 경험과 일치해야 합니다. 이는 데이터 세트의 신뢰성과 신빙성에 대한 독자의 믿음에 직접적인 영향을 미치며, 결과적으로 데이터 세트의 작성자 또는 게시자의 평판과 신뢰도에 영향을 미칩니다.
반대로, 독자가 데이터 세트, 조직, 조직에서 게시한 기타 데이터 세트에 대해 가지고 있는 기존 신념은 데이터 카드의 검색 가능성, 유용성, 구성과 관계없이 데이터 카드와의 상호작용 방식에 영향을 미칠 수 있습니다.
예를 들어 이전에 조직에서 게시한 데이터 세트에 대해 긍정적인 경험을 한 독자는 동일한 작성자가 게시한 새 데이터 세트를 더 신뢰할 수 있습니다. 이 경우 독자가 직관적으로 추론할 수 있으며, 새로운 데이터 카드를 자세히 읽지 않아 데이터 세트와 특히 이전의 유사한 데이터 세트와의 차이점을 제대로 이해하지 못할 수 있습니다.
따라서 데이터 카드를 평가하려면 독자가 자신의 맥락 내에서 데이터 세트에 대한 허용 가능한 결론에 도달할 수 있는지 평가할 수 있는 접근 방식이 필요합니다. 이는 데이터 세트 자체에 대한 평가와는 다르며, 데이터 세트 자체에 대한 평가는 함께 제공되는 데이터 카드의 효과에 대해 많은 것을 보여주지 않을 수 있습니다. 대신 사용자 연구와 같은 방법을 통해 데이터 카드를 평가해야 합니다. 이를 통해 다양한 독자가 콘텐츠를 이해하는지 파악하거나 데이터 카드를 반복하는 동안 독자가 여전히 실행 가능한 통계에 도달하는지 확인할 수 있습니다. 또 다른 방법은 데이터 카드 구현에서 사용자 만족도, 설문조사, 분석을 통해 데이터 카드의 채택률과 효능을 측정하는 것입니다. 이러한 의미에서 데이터 카드는 데이터 세트의 성공을 추진하고 평가하는 데 유용한 프로브가 될 수 있으며 다운스트림 이해관계자의 요구사항을 더 명확하게 파악할 수 있습니다.
요구사항
데이터 세트의 수명 주기에는 다양한 이해관계자가 있으며, 각 이해관계자는 데이터 유창성, 도메인 전문성, 요구사항이 서로 다릅니다.
요구사항은 제품 또는 프로세스 허용에 필요한 제품 또는 프로세스 운영, 기능, 설계 특성 또는 제약 조건을 명확하고 테스트 가능하며 식별하는 문장입니다. 데이터 세트의 목표, 데이터 세트 수명 주기의 이해관계자, 투명성 노력의 구현은 데이터 카드 요구사항 및 평가 기준을 설정하는 데 중요한 역할을 합니다. 예를 들어 여러 제품 관리자, 엔지니어, 데이터 과학자, AI 디자이너, IRB 검토자가 데이터 카드에 있는 답변을 사용할 수 있습니다. 이 경우 좋은 평가 프로세스에는 이러한 각 역할의 기능, 운영, 사용성, 안전 요구사항과 직접 관련된 기준이 포함됩니다.
요약
평가 방법에 따라 데이터 카드의 효과에 대한 통계가 달라집니다. 생성부터 출시, 출시 후까지 투명성 문서화 프로세스 전반에 사용할 수 있는 평가 방법을 선택해야 합니다.
이 모듈에서 소개된 기능, 운영, 사용성, 안전이라는 네 가지 요구사항과 두 번째 모듈에서 소개된 책임, 유용성, 품질, 사용 결과, 위험/권장사항이라는 측정기준은 독자의 직접적인 관점에서 데이터 카드의 전반적인 성능을 평가하는 데 좋은 시작점이 됩니다.
2. 요구사항 파악
- 요구사항을 확인하려면 다음 표를 사용하세요. 이 표에는 요구사항, 평가 기준, 독자와 역할을 고려하여 데이터 카드가 해당 기준을 충족하는지 확인하는 방법의 예가 포함되어 있습니다.
요구사항 | 평가 기준 | 예 |
기능 | 데이터 카드를 통해 독자가 각자의 역할을 고려하여 작업을 완료할 수 있나요? | 데이터 세트를 파이프라인에 통합하는 데 관심이 있는 데이터 엔지니어를 생각해 보세요. 데이터 세트를 사용하는 데 필요한 인프라를 성공적으로 구현하는 데 필요한 정보가 데이터 카드에 포함되어 있나요? |
운영 | 데이터 카드를 통해 독자가 데이터 세트를 효과적으로 사용하는 데 필요한 필수 기능, 성능 측정, 기타 관련 요구사항 및 프로세스를 식별할 수 있나요? | 데이터 세트로 추천 시스템을 미세 조정하려는 머신러닝 (ML) 모델 빌더를 생각해 보세요. 데이터 카드에 충족해야 하는 제약 조건과 성능 요구사항을 결정할 수 있는 충분한 정보가 있나요? |
사용성 | 독자가 데이터 카드를 쉽게 탐색하고 상호작용할 수 있나요? 데이터 카드 구현이 기본적인 사용성 휴리스틱 및 접근성 표준을 충족하나요? | 데이터 세트를 사용하고 싶지만 인터넷 액세스가 제한된 학생 연구자를 생각해 보세요. 데이터 카드를 통해 데이터 세트의 대화형 탐색 시각화를 삽입하면 어떤 종류의 문제가 발생할 수 있나요? 어떤 종류의 UI 실수로 인해 시각장애인용 화면 리더가 데이터 카드를 번역하지 못할 수 있나요? |
안전 | 데이터 카드에 제공된 정보가 실무자가 도메인에서 데이터 세트와 관련된 잠재적으로 바람직하지 않은 결과를 평가하는 데 유용한가요? | 의료와 같은 위험도가 높은 도메인에서 일하는 ML 실무자를 생각해 보세요. 데이터 카드에 환자 결과 악화를 방지하기 위해 반드시 공개해야 하는 적절한 보안, 개인 정보 보호, 견고성, 규정 준수 요구사항이 설명되어 있나요? |
자세한 내용은 리더로 평가하기를 참고하세요.
3. 크기 결정
- 측정기준을 확인하려면 잠재적 독자를 초대하여 5가지 측정기준에 따라 데이터 카드를 평가하고 다음 양식을 사용하여 각 측정기준에서 데이터 카드의 실적을 평가하세요.
4. 대규모 원격 분석
투명성 중심 문서가 성공하려면 문서를 사용자 중심 제품으로 취급해야 합니다. 장기적인 투명성 전략과 여러 부서에 걸친 광범위한 이니셔티브를 알리려면 데이터 카드 사용량을 체계적으로 추적해야 합니다. 투명성 노력의 성공을 측정하는 데 일률적으로 적용할 수 있는 방법은 없지만, 영향 추적 프로그램을 설정할 때 투명성 노력의 성숙도와 목표, 조직의 규모, 문서화된 데이터 세트 등 다양한 요소를 고려할 수 있습니다.
예를 들어 데이터 카드의 효과를 측정하는 일부 원격 분석은 PDF보다는 대화형 데이터 카드 구현에 더 쉽게 통합할 수 있습니다. 반면 데이터 카드의 효과를 측정하려면 조직에서 불완전하거나 포기된 데이터 카드를 측정하는 맞춤 메커니즘을 설정해야 할 수 있습니다.
효과 측정
일반적으로 데이터 카드 템플릿의 측정항목과 채택은 문서 위생, 복원력 및 안정성, 이해 가능성, 지원 가능성, 전환, 참여도, 도달범위의 7가지 카테고리로 분류할 수 있습니다. 하지만 이러한 측정항목은 동일하지 않으며, 맥락에 따라 고려해야 합니다. 다음 표에는 데이터 카드 및 데이터 카드 템플릿의 이러한 7가지 카테고리를 측정하는 시기와 방법이 나와 있습니다.
카테고리 | 정의 | 측정 시기 | 측정 방법 |
문서 관리 | 데이터 세트 사용에 대한 독자의 경험이 데이터 카드에서 생성된 기대치와 얼마나 일치하는지 나타냅니다.데이터 세트를 설명하는 생산자의 경험이 데이터 카드 템플릿에서 설정된 기대치와 얼마나 일치하는지 나타냅니다. | 템플릿: 데이터 세트 생산자가 데이터 카드를 완료하는 동안 또는 완료 직후 | 템플릿: 데이터 카드 템플릿이 의도한 데이터 세트를 얼마나 잘 설명하는지 측정합니다. 예를 들어 답변되지 않은 질문의 비율은 데이터 세트 클래스에서 일관되게 답변되지 않은 질문의 비율을 평가합니다. |
복원력 및 안정성 | 특히 여러 도메인에서 사용되거나 다양한 독자가 데이터 카드를 읽는 경우 수정이나 추가를 견딜 수 있는 데이터 카드 템플릿의 기능 | 템플릿: 완료 중 또는 프로듀서가 데이터 카드를 완료한 직후 특히 출시 후 수정사항에 유의하세요. | 템플릿: 수정 없이 템플릿에서 캡처하는 데이터 세트의 다양성, 가장 일반적인 수정사항, 잘못 답변되거나 용도가 변경된 질문의 양을 측정합니다. 예를 들어 수정 비율은 템플릿으로 생성된 데이터 카드 수와 템플릿에서 이루어진 수정 횟수 간의 비율입니다. |
이해 가능성 | 생산자가 데이터 카드 템플릿을 온보딩하고 사용하는 정도와 데이터 카드의 새로운 독자가 완료된 데이터 카드의 정보를 온보딩하고, 습관화하고, 사용하는 효율성 | 템플릿: 완료 프로세스 중에 주요 시점에서 체크인으로 완료할 수 있도록 데이터 세트 생산자에게 템플릿을 제공하는 경우 | 템플릿: 생산자의 데이터 카드 템플릿 이해도와 섹션의 난이도를 측정합니다. 예를 들어 형성적 연구에서는 특정 통계에 대한 설문조사 및 인지적 워크스루에 참여할 독자를 사전 모집합니다. |
지원 용이성 | 데이터 카드를 유지하기 위한 지원 제공 역량과 제공된 지원량입니다. | 템플릿: 규모와 관계없이 조직에서 데이터 카드 노력을 설정하는 즉시(임시인 경우에도 해당) | 템플릿: 데이터 카드 템플릿을 완료하고 게시하는 데 필요한 추가 시간과 전문성을 측정합니다. 예를 들어 상담 시간은 데이터 카드 제작자를 위한 상담 시간 또는 지원 프로그램 중에 받은 출석, 데이터 세트 유형, 질문을 측정합니다. |
전환 | 템플릿에서 데이터 카드를 작성하고 게시하는 제작자의 비율과 데이터 카드를 기반으로 데이터 세트에 관한 결정을 내리는 독자의 비율을 추적합니다. | 템플릿: 규모와 관계없이 조직에서 데이터 카드 작업을 설정하는 즉시(임시인 경우 포함) | 템플릿: 데이터 카드 템플릿을 완료한 제작자의 성공률을 측정합니다. 예를 들어 분석에서는 완료율, 출시까지 걸리는 시간, 데이터 카드 템플릿의 관련 섹션 비율을 추적합니다. |
참여 | 데이터 카드와 같이 시청자가 내 콘텐츠에 얼마나 적극적으로 참여하는지 추적합니다. | 템플릿: 데이터 카드 템플릿이 조직 내에 설정되고 배포된 후 | 템플릿: 데이터 세트 생산자가 데이터 카드 프로그램에 참여하고 전념하는 정도를 측정합니다. 예를 들면 다음과 같습니다.
데이터 카드: 데이터 카드 사용 및 데이터 카드에서 지식 생성 여부를 측정합니다.
|
도달범위 | 데이터 카드를 본 순 사용자의 총수를 추적합니다. 이는 참여 및 전환과 같은 추가 측정항목의 중요한 전제 조건입니다. | 템플릿: 데이터 카드 템플릿이 조직에서 설정되고 배포된 후 | 템플릿: 조직이 보유한 데이터 세트 수에 비해 생성할 수 있는 데이터 카드의 수를 측정합니다. |
자세한 내용은 대규모 원격 분석을 참고하세요.
이러한 원격 분석 측정항목을 운영하려면 다양한 수준의 리소스와 지원이 필요할 수 있습니다. 예를 들어 데이터 카드가 얼마나 제작자 친화적인지 파악하는 포커스 그룹에는 데이터 카드 완료율을 기록하는 분석과 비교해 상당히 다른 리소스가 필요합니다. 마찬가지로 데이터 카드의 트래픽을 측정하는 데는 참여도를 파악하기 위한 출시 후 인터뷰 시리즈보다 상대적으로 적은 리소스가 필요합니다. 조직의 다양한 부서의 의사결정권자와 함께 이러한 다양한 카테고리를 검토하여 효과를 추적하는 데 어떤 카테고리를 사용해야 하는지, 어떻게 사용해야 하는지 결정할 수 있습니다.
요약
결과적으로 데이터 카드의 영향을 측정하는 측정항목은 데이터 카드 작성을 위한 진행 상황을 측정하는 측정항목과 다릅니다. 데이터 세트의 성숙도에 따라 데이터 카드 측정항목을 해석하는 방식이 달라질 수 있습니다. 데이터 세트의 성숙도와 인기도를 고려하고 정량적, 정성적, 일화적 영향을 종합적으로 고려하세요.
5. 측정항목 선택
앞서 언급한 바와 같이, 투명성 목표를 달성하기 위해 필요한 측정항목은 맥락에 따라 달라집니다.
측정항목을 선택하려면 다음 단계를 따르세요.
- 목표를 다양화하세요. 데이터 카드 작성을 위한 진행 상황뿐만 아니라 데이터 카드를 만들고 출시한 후 독자에게 미치는 영향을 평가하는 투명성 노력을 위한 팀 목표를 설정하세요.
- 선행 및 지연 측정항목을 정의합니다. 목표 달성 시점을 알려주는 각 지연 측정항목에 대해 목표에 기여하는 중요한 활동을 추적할 선행 측정항목을 설정하세요.
- 보완적인 정성적 연구의 빈도 설정 조직 전체에서 데이터 카드를 측정하는 데 필요한 인프라를 설정할 때 결과를 확인하고 정량적 측정항목을 보정하기 위해 정기적으로 정성적 연구를 실행하는 계획을 세우세요.
- 개별 데이터팀 교육하기 데이터 세트와 데이터 카드를 생성하는 팀이 데이터 세트와 데이터 카드의 컨텍스트 내에서 정성적 및 정량적 측정항목을 함께 해석할 수 있도록 지원합니다.
6. 축하합니다
축하합니다. 데이터 카드를 만드는 데 필요한 모든 것이 준비되었습니다. 이제 퀴즈를 통해 지식을 테스트할 준비가 되었습니다.