Модуль 4: Аудит

1. Оценка

Теперь, когда ваша карта данных готова к публикации, вам необходимо выполнить следующие действия для достижения ваших целей по обеспечению прозрачности:

  • Используйте методы оценки, чтобы понять, насколько ваша карта данных популярна среди читателей.
  • Систематически отслеживайте использование и внедрение ваших карт данных, чтобы убедиться, что они соответствуют интересам ваших читателей.

В этом модуле предлагаются некоторые подходы к аудиту заполненной вами карты данных для обеспечения ее дальнейшего успешного использования даже после ее выпуска.

Как упоминалось в предыдущих модулях, основная цель считывателя карт данных — оценка набора данных. Поэтому любая оценка карты данных должна быть направлена на то, сможет ли считыватель успешно прийти к приемлемым выводам о наборе данных.

Информация в карточке данных должна соответствовать опыту читателя, полученному при использовании набора данных. Это напрямую влияет на его мнение о надёжности и достоверности набора данных, а следовательно, на репутацию и доверие к авторам или издателям этого набора данных.

И наоборот, существующие у читателя убеждения относительно вашего набора данных, организации и других наборов данных, опубликованных вашей организацией, также могут влиять на то, как он взаимодействует с вашей картой данных, независимо от того, насколько она удобна для обнаружения, использования или хорошо структурирована.

Например, читатели, имеющие положительный опыт использования ранее опубликованных организацией наборов данных, могут неявно больше доверять новому набору данных, опубликованному теми же авторами. В этом случае существует вероятность, что читатель будет действовать интуитивно и не сможет достаточно внимательно прочитать новую карту данных, чтобы получить максимально полное представление о наборе данных и, в частности, о его отличиях от более старого, аналогичного набора.

Таким образом, оценка карты данных требует подходов, которые могут определить, могут ли читатели прийти к приемлемым выводам о наборе данных в их контексте . Это отличается от оценки самого набора данных, которая может не многое сказать об эффективности прилагаемой карты данных. Вместо этого вам необходимо оценить вашу карту данных с помощью чего-то вроде исследования пользователей, которое поможет вам понять, понятен ли ваш контент разным читателям, или выяснить, продолжают ли ваши читатели получать полезные идеи в процессе итераций с вашей картой данных. Другой подход заключается в измерении принятия и эффективности вашей карты данных с помощью удовлетворенности пользователей, опросов и аналитики при внедрении карты данных. В этом смысле карта данных может быть полезным зондом для оценки успешности вашего набора данных и составления более четкой картины потребностей ваших заинтересованных сторон ниже по цепочке.

Требования

В жизненном цикле набора данных задействовано множество заинтересованных сторон, каждая из которых обладает разным уровнем владения данными, экспертизой в предметной области и требованиями .

Требование — это утверждение, определяющее эксплуатационную, функциональную, конструктивную характеристику или ограничение продукта или процесса, которые являются однозначными, проверяемыми и необходимыми для приемлемости продукта или процесса. Цели вашего набора данных, заинтересованные стороны жизненного цикла набора данных и реализация ваших усилий по обеспечению прозрачности играют роль в установлении требований и критериев оценки вашей карты данных. Например, ответы в карте данных могут использовать несколько менеджеров по продукту, инженеров, специалистов по анализу данных, разработчиков искусственного интеллекта и рецензентов IRB. В этом случае хороший процесс оценки содержит критерии, непосредственно связанные с функциональными, эксплуатационными, юзабилити-требованиями и требованиями безопасности для каждой из этих ролей.

Краткое содержание

Различные методы оценки дают разную оценку эффективности карты данных. Вам необходимо выбрать методы оценки, которые можно использовать на протяжении всего процесса документирования прозрачности, от создания до запуска и далее.

Четыре требования, представленные в этом модуле (функциональность, эксплуатация, удобство использования и безопасность), а также измерения, представленные во втором модуле (ответственность, полезность, качество, последствия использования и риск/рекомендации), являются хорошей отправной точкой для оценки общей эффективности вашей карты данных с непосредственной точки зрения читающих.

2. Определите ваши требования

  • Чтобы определить свои требования, воспользуйтесь следующей таблицей, в которой указаны требования, возможные критерии их оценки и примеры способов определения того, соответствует ли ваша карта данных этим критериям с учетом считывателя и его роли:

Требование

Критерии оценки

Пример

Функциональный

Позволяет ли ваша карта данных читателям выполнять свои задачи с учетом их ролей?

Представьте себе инженера по обработке данных, заинтересованного в интеграции вашего набора данных в свой конвейер. Содержит ли ваша карта данных информацию, необходимую для успешного внедрения инфраструктуры, необходимой для использования этого набора данных?

Оперативный

Позволяет ли ваша карта данных читателям определить основные возможности, показатели производительности и другие сопутствующие требования и процессы, необходимые для эффективного использования набора данных?

Представьте себе разработчика моделей машинного обучения (МО), который хочет настроить рекомендательную систему на основе вашего набора данных. Достаточно ли информации в вашей карте данных для определения ограничений и требований к производительности, которые необходимо соблюсти?

Удобство использования

Могут ли читатели легко ориентироваться и взаимодействовать с вашей картой данных? Соответствует ли реализация вашей карты данных основным эвристикам удобства использования и стандартам доступности?

Представьте себе студента-исследователя, который хочет использовать ваш набор данных, но имеет ограниченный доступ к Интернету. Какие проблемы может возникнуть при встраивании интерактивной исследовательской визуализации вашего набора данных в вашу карту данных? Какие недостатки пользовательского интерфейса могут помешать экранному считывателю интерпретировать карту данных для пользователя со слабым зрением?

Безопасность

Является ли информация, представленная в Карте данных, полезной для специалистов-практиков для оценки любых потенциальных нежелательных результатов, связанных с вашим набором данных в их областях?

Обратите внимание на специалистов МО, работающих в сфере высокого риска, например, в здравоохранении. Содержит ли ваша карта данных необходимые требования безопасности, конфиденциальности, надежности и соответствия требованиям, которые необходимо раскрыть для предотвращения неблагоприятных исходов для пациентов?

Более подробную информацию см. в разделе Оценка с читателями .

3. Определите свои размеры

  • Чтобы определить ваши измерения, предложите потенциальному читателю оценить вашу карту данных по пяти измерениям и используйте следующую форму для оценки того, насколько хорошо ваша карта данных работает по каждому из них:

52b41a36b71ccc6d.png

4. Телеметрия в масштабе

Для успеха любой формы документации, ориентированной на прозрачность, необходимо рассматривать её как продукт, ориентированный на пользователя. Систематическое отслеживание использования вашей карты данных необходимо для формирования долгосрочных стратегий обеспечения прозрачности и масштабных инициатив, охватывающих различные функциональные области. Хотя универсального подхода к оценке эффективности мер по обеспечению прозрачности не существует, существует ряд факторов, которые можно учитывать при настройке программы отслеживания воздействия, таких как зрелость и цели ваших мер по обеспечению прозрачности, масштаб организации или документируемые наборы данных.

Например, вы обнаружили, что некоторые формы телеметрии для оценки эффективности карт данных проще реализовать в виде интерактивных карт данных, чем в виде PDF-файлов. С другой стороны, для оценки эффективности вашей карты данных может потребоваться настройка специальных механизмов для отслеживания неполных или заброшенных карт данных в вашей организации.

Измерение воздействия

В целом, метрики для шаблонов карт данных и их внедрения можно разделить на семь категорий: гигиена документации, устойчивость и стабильность, понятность, поддерживаемость, конверсия, вовлечённость и охват. Однако эти метрики не равнозначны; их необходимо учитывать в вашем контексте. В следующей таблице перечислены, определены и объяснены, когда и как измерять эти семь категорий для карт данных и шаблонов карт данных:

Категория

Определение

Когда измерять

Как измерить

Гигиена документации

Удовлетворенность, с которой опыт читателя, использующего набор данных, соответствует ожиданиям, созданным его картой данных. Точность, с которой опыт производителя, описывающего набор данных, соответствует ожиданиям, установленным шаблоном карты данных.

Шаблон : Во время завершения или сразу после того, как производители наборов данных заполнили карточки данных.

Карта данных : перед распространением заполненной карты данных среди выборочной аудитории и с регулярной периодичностью после распространения среди реальных читателей.

Шаблон : измеряет, насколько хорошо шаблон карты данных описывает наборы данных, для которых он предназначен. Например, показатель «Доля неотвеченных вопросов» оценивает процент вопросов, которые постоянно остаются без ответа для определённого класса наборов данных.

Карта данных : измеряет точность, с которой заполненная карта данных описывает набор данных и его использование. Например, сравнение удовлетворенности читателей позволяет собрать оценки удовлетворенности читателей для карты данных и сравнить их с вашей оценкой до выпуска вашей карты данных.

Устойчивость и стабильность

Способность шаблона карты данных выдерживать изменения или дополнения, особенно при использовании в нескольких доменах или когда карта данных считывается разными считывателями.

Шаблон : во время завершения или сразу после того, как производители заполнили карты данных. Особое внимание следует уделить изменениям, внесенным после запуска.

Карта данных: при внесении изменений и дополнений после запуска.

Шаблон : измеряет разнообразие наборов данных, которые шаблон охватывает без редактирования, наиболее распространённые изменения и объём вопросов, на которые даны неверные ответы или которые были перенаправлены. Например, коэффициент редактирования — это соотношение между количеством карточек данных, созданных с помощью шаблона, и количеством изменений, внесённых в шаблон.

Карта данных : измеряет количество исправлений и добавлений контента, внесённых в опубликованную карту данных, а также частоту этих изменений. Например, среднее время между сбоями измеряет среднее время между событиями, в которых карта данных редактируется.

Понятность

Насколько хорошо производитель может принять и использовать шаблон карты данных, и насколько эффективно новый читатель карты данных может принять, усвоить и использовать информацию в заполненной карте данных.

Шаблон : при предоставлении шаблонов производителям наборов данных для завершения с проверками на контрольных этапах в процессе завершения.

Карта данных : После публичного распространения или запуска карт данных.

Шаблон : оценивает понимание разработчиками шаблона карточки данных и сложность его разделов. Например, в рамках формирующих исследований читателей активно привлекают к участию в опросах и когнитивных пошаговых руководствах для получения конкретных знаний.

Карта данных : оценивает понимание и удобство использования карты данных читателями, а также её пригодность для разных категорий читателей. Например, аналитика отслеживает показатели трафика и вовлечённости, чтобы выявить закономерности в общем понимании. Однако будьте осторожны с метриками тщеславия.

Поддерживаемость

Возможность предоставления поддержки для поддержания Карт данных и объем предоставляемой поддержки.

Шаблон : Как только вы начнете работу над картами данных в своей организации, независимо от ее масштаба и от того, является ли она несистематичной.

Карта данных: когда Карта данных становится доступной для использования и отслеживания с течением времени.

Шаблон : измеряет дополнительное время и экспертные знания, необходимые для заполнения и публикации шаблона карты данных. Например, часы работы офиса учитывают посещаемость, типы наборов данных и вопросы, полученные в рабочее время, или программы поддержки для производителей наборов данных, создающих карты данных.

Карта данных : измеряет, как карта данных влияет на качество и уникальность вопросов о наборе данных, а также на правильное использование набора данных. Например, проблемы после запуска отслеживают ошибки, вопросы или запросы функций, относящиеся к набору данных и отмеченные как проблемы, на которые карта данных не дала ответа.

Конверсия

Отслеживает процент производителей, которые заполняют и публикуют карту данных на основе шаблона, и процент читателей, которые принимают решения о наборе данных на основе его карты данных.

Шаблон : Как только вы начнете работу над картами данных в своей организации, независимо от ее масштаба и от того, является ли она несистематичной.

Карта данных : когда Карта данных становится доступной для использования и отслеживания с течением времени.

Шаблон : измеряет показатели успешности заполнения шаблонов карт данных. Например, аналитика отслеживает скорость выполнения, время выпуска и процент соответствующих разделов в шаблоне карт данных.

Карта данных : измеряет степень успешности принятия решений читателями на основе карт данных. Например, качественные исследования включают в себя интервьюирование и исследования удовлетворенности читателей, которые дают представление о точности решений и скорости выполнения задач.

Обручение

Отслеживает, насколько активно ваша аудитория взаимодействует с вашим контентом, например, с вашей картой данных.

Шаблон : После того, как шаблоны карт данных будут созданы и распространены в вашей организации.

Карта данных : когда карта данных доступна публично вместе с наборами данных, которые она представляет. Эта метрика менее полезна, если карта данных недоступна для поиска или содержит конкурирующие, а не взаимодополняющие источники документации.

Шаблон : измеряет уровень вовлеченности и приверженности производителей наборов данных программе Data Card. Например:

  • Коэффициент совместного использования шаблонов — это процент производителей, которые обмениваются шаблонами карт данных с другими владельцами наборов данных.
  • Коэффициент органического создания — это процент карт данных, которые создаются без необходимости делать это.
  • Качество ответов — это точность и полезность информации, представленной в карточках данных.

Карта данных : измеряет использование карты данных и получение знаний с ее помощью.
Например:

  • Повторное использование измеряет, сколько раз агенты или пользователи наборов данных обращаются к карте данных для получения дополнительной информации.
  • По разделам измеряются показатели вовлеченности по каждому разделу карты данных и отслеживаются общие ссылки по каждому разделу карты данных.

Достигать

Отслеживает общее количество уникальных пользователей, которые увидели вашу карту данных. Это важный фактор, предшествующий получению дополнительных показателей, таких как вовлечённость и конверсия.

Шаблон : После того, как шаблоны карт данных будут созданы и распространены в вашей организации.

Карта данных : когда карта данных доступна публично вместе с наборами данных, которые она представляет. Эта метрика менее полезна, если карта данных недоступна для поиска или содержит конкурирующие, а не взаимодополняющие источники документации.

Шаблон : измеряет количество карт данных, которые организация может создать, относительно количества имеющихся у нее наборов данных.

Карта данных : измеряет трафик и качество, получаемый картой данных, а также трафик, который она переносит в набор данных. Например, журналы трения отслеживают проблемы, трудности или разочарования, которые могут возникнуть у создателей наборов данных и читателей карт данных во время сеансов фокус-групп.

Более подробную информацию можно найти в разделе Телеметрия в масштабе .

Операционализация этих телеметрических метрик может потребовать различных уровней ресурсов и поддержки. Например, фокус-группы, анализирующие, насколько удобно использовать Data Card для производителей, требуют существенно иного набора ресурсов, чем аналитики, отслеживающие показатели заполнения Data Card. Аналогично, измерение трафика, связанного с Data Card, требует относительно меньше ресурсов, чем серия интервью после запуска, которые анализируют уровни вовлеченности. Вы можете обсудить эти категории с лицами, принимающими решения в вашей организации, чтобы определить, какие из них следует использовать для отслеживания воздействия и как это сделать.

Краткое содержание

В конечном счёте, метрики, измеряющие влияние карты данных, отличаются от метрик, измеряющих ваш прогресс в её заполнении. Зрелость набора данных может повлиять на то, как вы будете интерпретировать метрики карты данных. Учитывайте зрелость и популярность набора данных и рассматривайте количественное, качественное и субъективное влияние одновременно.

5. Выберите метрики

Как уже упоминалось, ваш контекст определяет показатели, необходимые для обеспечения достижения ваших целей прозрачности.

Чтобы выбрать метрики, выполните следующие действия:

  1. Диверсифицируйте свои цели. Установите командные цели для ваших усилий по обеспечению прозрачности, которые будут оценивать не только ваш прогресс в заполнении карты данных, но и её влияние на ваших читателей после её создания и запуска.
  2. Определите метрики опережения и запаздывания. Для каждой метрики запаздывания, которая показывает, когда вы достигли цели, установите метрики опережения, чтобы отслеживать критически важные действия, способствующие достижению цели.
  3. Установите ритм для дополнительных качественных исследований. Создавая необходимую инфраструктуру для измерения карт данных в вашей организации, разработайте план регулярного проведения качественных исследований для проверки результатов и калибровки количественных показателей.
  4. Обучайте отдельные команды по работе с данными. Дайте возможность командам, создающим наборы данных и карты данных, синхронно интерпретировать качественные и количественные показатели в контексте своих наборов данных и карт данных.

6. Поздравления

Поздравляем! У вас есть всё необходимое для создания карты данных! Теперь вы готовы пройти тест и проверить свои знания.