ماژول 4: حسابرسی

1. ارزیابی

اکنون که کارت داده شما آماده انتشار است، باید اقدامات بعدی زیر را برای دستیابی به تلاش‌های شفاف‌سازی خود انجام دهید:

  • از روش های ارزیابی برای به دست آوردن بینشی در مورد نحوه عملکرد کارت داده خود با خوانندگان استفاده کنید.
  • به طور سیستماتیک استفاده و پذیرش تلاش‌های کارت داده خود را دنبال کنید تا اطمینان حاصل کنید که با علاقه خوانندگان شما مطابقت دارد.

این ماژول برخی از رویکردها را برای ممیزی کارت داده تکمیل شده شما برای موفقیت مداوم پس از انتشار آن ارائه می دهد.

همانطور که در ماژول های قبلی ذکر شد، هدف اصلی یک کارت خوان داده ارزیابی در مورد مجموعه داده است. بنابراین، هر ارزیابی از کارت داده یک مجموعه داده باید بر این تمرکز داشته باشد که آیا خواننده می تواند با موفقیت به نتایج قابل قبولی در مورد مجموعه داده برسد یا خیر.

اطلاعات موجود در کارت داده باید با تجربه خواننده از استفاده از مجموعه داده هماهنگ باشد. این امر مستقیماً بر باورهای خواننده در مورد قابلیت اطمینان و اعتبار مجموعه داده و متعاقباً بر شهرت و اعتماد به نویسندگان یا ناشران مجموعه داده تأثیر می گذارد.

برعکس، باورهای موجود خواننده در مورد مجموعه داده‌ها، سازمان، و سایر مجموعه‌های داده منتشر شده توسط سازمان شما نیز می‌تواند بر نحوه تعامل آن‌ها با کارت داده شما بدون توجه به اینکه چقدر قابل کشف، قابل استفاده یا به خوبی ساخته شده است تأثیر بگذارد.

برای مثال، خوانندگانی که تجربه مثبتی از مجموعه داده‌هایی دارند که قبلاً توسط یک سازمان منتشر شده است، ممکن است به طور ضمنی اعتماد بیشتری به مجموعه داده جدیدی که توسط همان نویسندگان منتشر شده است داشته باشند. در این مورد، این احتمال وجود دارد که خواننده ممکن است جهش های شهودی انجام دهد و ممکن است کارت داده جدید را به اندازه کافی از نزدیک نخواند تا بهترین درک ممکن از مجموعه داده و به طور خاص، تفاوت آن با مجموعه داده های قدیمی و مشابه را داشته باشد.

به این ترتیب، ارزیابی یک کارت داده نیازمند رویکردهایی است که می‌توانند ارزیابی کنند که آیا خوانندگان می‌توانند به نتایج قابل قبولی از مجموعه داده در زمینه خود برسند یا خیر. اینها با ارزیابی خود مجموعه داده متفاوت است، که ممکن است چیز زیادی در مورد اثربخشی کارت داده همراه آن آشکار نکند. درعوض، باید کارت داده خود را از طریق چیزی شبیه مطالعه کاربر ارزیابی کنید، که به شما کمک می‌کند بفهمید که آیا محتوای شما توسط خوانندگان مختلف قابل درک است یا خیر، یا کشف کنید که آیا خوانندگان شما همچنان به بینش‌های عملی می‌رسند در حالی که روی کارت داده خود تکرار می‌کنید. روش دیگر اندازه گیری پذیرش و کارایی کارت داده خود از طریق رضایت کاربر، نظرسنجی ها و تجزیه و تحلیل در اجرای کارت داده است. از این نظر، کارت داده می تواند یک بررسی مفید برای هدایت و ارزیابی موفقیت مجموعه داده های شما باشد و تصویر واضح تری از نیازهای ذینفعان پایین دستی شما ارائه دهد.

الزامات

ذینفعان مختلفی در چرخه عمر مجموعه داده وجود دارد که هر کدام دارای سطوح مختلف روانی داده، تخصص حوزه و الزامات متفاوتی هستند.

یک الزام عبارتی است که محصول یا فرآیندی را مشخص می‌کند که ویژگی عملیاتی، عملکردی، طراحی یا محدودیتی است که بدون ابهام، آزمایش‌پذیر و برای پذیرش محصول یا فرآیند ضروری است. اهداف مجموعه داده شما، ذینفعان در چرخه عمر مجموعه داده، و اجرای تلاش های شفافیت شما در ایجاد الزامات و معیارهای ارزیابی کارت داده شما نقش دارند. برای مثال، چندین مدیر محصول، مهندسان، دانشمندان داده، طراحان هوش مصنوعی و بازبینان IRB ممکن است از پاسخ‌ها در کارت داده استفاده کنند. در این مورد، یک فرآیند ارزیابی خوب شامل معیارهایی است که مستقیماً به الزامات عملکردی، عملیاتی، قابلیت استفاده و ایمنی برای هر یک از این نقش ها مربوط می شود.

خلاصه

روش‌های ارزیابی مختلف بینش‌های متفاوتی در مورد کارایی یک کارت داده به دست می‌دهند. شما می‌خواهید روش‌های ارزیابی را انتخاب کنید که می‌توانند در سراسر فرآیند مستندسازی شفافیت از ایجاد تا راه‌اندازی و پس از آن استفاده شوند.

چهار الزام معرفی شده در این ماژول - عملکردی، عملیاتی، قابلیت استفاده و ایمنی - به همراه ابعاد معرفی شده در ماژول دوم - پاسخگویی، سودمندی، کیفیت، پیامد استفاده، و ریسک/توصیه‌ها - نقطه شروع خوبی برای ارزیابی عملکرد کلی کارت داده شما از دیدگاه مستقیم خوانندگان است.

2. نیازهای خود را تعیین کنید

  • برای تعیین الزامات خود، از جدول زیر استفاده کنید، که شامل الزامات، معیارهای ارزیابی آنها و نمونه هایی از روش هایی است که می توانید تعیین کنید که آیا کارت داده شما با در نظر گرفتن خواننده و نقش آن معیارها را برآورده می کند یا خیر:

مورد نیاز

معیارهای ارزیابی

مثال

عملکردی

آیا کارت داده شما خوانندگان را قادر می سازد تا وظایف خود را با توجه به نقش مربوطه خود انجام دهند؟

یک مهندس داده را در نظر بگیرید که علاقه مند به ادغام مجموعه داده های شما در خط لوله خود است. آیا کارت داده شما اطلاعات لازم برای اجرای موفقیت آمیز زیرساخت مورد نیاز برای استفاده از مجموعه داده را دارد؟

عملیاتی

آیا کارت داده شما خوانندگان را قادر می‌سازد تا قابلیت‌های ضروری، معیارهای عملکرد و سایر الزامات و فرآیندهای مرتبط لازم برای استفاده مؤثر از مجموعه داده را شناسایی کنند؟

یک سازنده مدل یادگیری ماشینی (ML) را در نظر بگیرید که می‌خواهد یک سیستم توصیه‌کننده را با مجموعه داده‌های شما تنظیم کند. آیا کارت داده شما اطلاعات کافی برای تعیین محدودیت ها و نیازهای عملکردی دارد که باید برآورده شوند؟

قابلیت استفاده

آیا خوانندگان می توانند به راحتی با کارت داده شما حرکت کنند و با آن تعامل داشته باشند؟ آیا پیاده سازی کارت داده شما با استانداردهای اکتشافی قابلیت استفاده اولیه و استانداردهای دسترسی مطابقت دارد؟

دانشجویی محقق را در نظر بگیرید که می خواهد از مجموعه داده شما استفاده کند، اما دسترسی به اینترنت محدودی دارد. تعبیه یک تجسم تعاملی و اکتشافی از مجموعه داده شما در کارت داده شما چه نوع چالش هایی ممکن است ایجاد کند؟ چه نوع نظارت‌هایی در رابط کاربری ممکن است مانع از ترجمه صفحه‌خوان توسط صفحه‌خوان برای یک خواننده با دید کم شود؟

ایمنی

آیا اطلاعات ارائه شده در کارت داده برای شاغلین برای ارزیابی هرگونه پیامد نامطلوب بالقوه مرتبط با مجموعه داده شما در حوزه های خود مفید است؟

پزشکان ML را در نظر بگیرید که در حوزه های پرخطر مانند مراقبت های بهداشتی کار می کنند. آیا کارت داده شما الزامات امنیتی، حریم خصوصی، استحکام و انطباق مناسبی را که لزوماً برای جلوگیری از نتایج ضعیف بیمار باید افشا شود، توصیف می کند؟

برای اطلاعات بیشتر، به ارزیابی با خوانندگان مراجعه کنید.

3. ابعاد خود را تعیین کنید

  • برای تعیین ابعاد خود، از یک خواننده بالقوه دعوت کنید تا کارت داده شما را در پنج بعد ارزیابی کند و از فرم زیر برای ارزیابی عملکرد کارت داده شما برای هر یک استفاده کنید:

52b41a36b71ccc6d.png

4. تله متری در مقیاس

برای موفقیت هر شکلی از مستندات شفاف‌محور، باید اسناد را به عنوان یک محصول کاربر محور در نظر بگیرید. ردیابی سیستماتیک استفاده از کارت داده شما برای اطلاع رسانی استراتژی های شفافیت بلندمدت و ابتکارات گسترده ای که مرزهای بین عملکردی را در بر می گیرد، ضروری است. در حالی که هیچ رویکرد یکسانی برای سنجش موفقیت تلاش‌های شفافیت وجود ندارد، عوامل مختلفی وجود دارد که می‌توانید هنگام تنظیم برنامه ردیابی تأثیر خود در نظر بگیرید، مانند بلوغ و اهداف تلاش شفاف‌سازی، مقیاس سازمان یا مجموعه داده‌های مستند شده.

برای مثال، متوجه می‌شوید که برخی از اشکال تله‌متری برای اندازه‌گیری کارآیی کارت‌های داده، به جای فایل‌های PDF در پیاده‌سازی کارت‌های داده تعاملی آسان‌تر است. از سوی دیگر، اندازه‌گیری کارایی کارت داده شما ممکن است به شما نیاز داشته باشد که مکانیسم‌های سفارشی را تنظیم کنید که کارت‌های داده ناقص یا رها شده را در سازمانتان اندازه‌گیری می‌کند.

اندازه گیری تاثیر

به طور کلی، معیارهای یک الگوی کارت داده و پذیرش آن‌ها را می‌توان به طور کلی به هفت دسته طبقه‌بندی کرد: بهداشت اسناد، انعطاف‌پذیری و پایداری، قابل فهم بودن، پشتیبانی‌پذیری، تبدیل، تعامل و دسترسی. با این حال، این معیارها برابر نیستند. بلکه باید در زمینه های شما در نظر گرفته شوند. جدول زیر زمان و نحوه اندازه‌گیری این هفت دسته را برای کارت‌های داده و الگوهای کارت داده فهرست، تعریف و توضیح می‌دهد:

دسته بندی

تعریف

چه زمانی اندازه گیری شود

نحوه اندازه گیری

بهداشت اسناد و مدارک

رضایتی که تجربه خواننده از استفاده از مجموعه داده با انتظارات ایجاد شده توسط کارت داده مطابقت دارد. دقتی که تجربه تولیدکننده در توصیف مجموعه داده با انتظارات تعیین شده توسط الگوی کارت داده مطابقت دارد.

الگو : در طول تکمیل یا بلافاصله پس از تکمیل داده‌ها، تولیدکنندگان کارت‌های داده را تکمیل می‌کنند.

کارت داده : قبل از توزیع یک کارت داده تکمیل شده با یک گروه مخاطب نمونه و در یک آهنگ منظم پس از توزیع با خوانندگان واقعی.

الگو : اندازه گیری می کند که چگونه یک الگوی کارت داده مجموعه داده هایی را که برای آن در نظر گرفته شده است، توصیف می کند. به عنوان مثال، نرخ سؤالات بی پاسخ، درصد سؤالاتی را ارزیابی می کند که به طور مداوم برای یک کلاس از مجموعه داده ها بی پاسخ هستند.

کارت داده : دقتی را که یک کارت داده تکمیل شده مجموعه داده و استفاده از آن را توصیف می کند، اندازه گیری می کند. به عنوان مثال، مقایسه رضایت خواننده امتیازات رضایت خواننده را برای کارت داده جمع آوری می کند و آنها را با ارزیابی شما قبل از انتشار کارت داده مقایسه می کند.

تاب آوری و پایداری

توانایی یک الگوی کارت داده برای مقاومت در برابر تغییرات یا اضافات، به ویژه اگر در چندین دامنه استفاده شود یا زمانی که یک کارت داده توسط خواننده های مختلف خوانده می شود.

الگو : در حین تکمیل یا بلافاصله پس از تکمیل کارت داده ها توسط تولیدکنندگان. به خصوص به تجدید نظرهایی که پس از راه اندازی انجام شد توجه کنید

کارت داده: زمانی که پس از راه‌اندازی اصلاحات و اضافات انجام می‌شود.

الگو : تنوع مجموعه داده‌هایی را که یک الگو بدون ویرایش می‌گیرد، اغلب ویرایش‌های متداول، و حجم سوالاتی که به اشتباه پاسخ داده می‌شوند یا تغییر منظور داده می‌شوند، اندازه‌گیری می‌کند. به عنوان مثال، نسبت ویرایش، نسبت بین تعداد کارت های داده ایجاد شده با یک الگو و میزان ویرایش های انجام شده در قالب است.

کارت داده : تعداد بازبینی‌ها و افزودن‌های محتوا به یک کارت داده منتشر شده و دفعات آن تغییرات را اندازه‌گیری می‌کند. برای مثال، میانگین زمان بین شکست، میانگین زمان بین رویدادی را که در آن یک کارت داده ویرایش می‌شود، اندازه‌گیری می‌کند.

قابل درک بودن

چقدر یک تولیدکننده می‌تواند از یک الگوی کارت داده استفاده کند و از آن استفاده کند، و یک خواننده جدید کارت داده چقدر می‌تواند اطلاعات را در یک کارت داده تکمیل‌شده نصب کند، عادت دهد و از آن استفاده کند.

الگو : هنگام ارائه الگوهایی به تولیدکنندگان مجموعه داده برای تکمیل بررسی در نقاط عطف در طول فرآیند تکمیل.

کارت داده : پس از توزیع عمومی یا راه اندازی کارت های داده.

الگو : درک تولیدکنندگان از الگوی کارت داده و سختی بخش‌های آن را اندازه‌گیری می‌کند. به عنوان مثال، مطالعات تکوینی به طور فعال خوانندگان را برای شرکت در نظرسنجی ها و بررسی های شناختی برای بینش های خاص جذب می کند.

کارت داده : درک خوانندگان و قابلیت استفاده از کارت داده و مناسب بودن آن برای خوانندگان مختلف را اندازه گیری می کند. به عنوان مثال، تجزیه و تحلیل ها معیارهای ترافیک و تعامل را دنبال می کنند تا الگوها را در درک کلی ببینند. با این حال، مراقب معیارهای بیهودگی باشید.

قابلیت پشتیبانی

ظرفیت ارائه پشتیبانی برای حفظ کارت های داده و میزان پشتیبانی ارائه شده.

الگو : به محض اینکه تلاشی برای Data Cards در سازمان خود راه اندازی کردید، صرف نظر از مقیاس، و اینکه آیا موقتی است.

کارت داده: زمانی که کارت داده برای مصرف و پیگیری در طول زمان در دسترس قرار می گیرد.

الگو : زمان و تخصص اضافی مورد نیاز برای تکمیل و انتشار یک الگوی کارت داده را اندازه گیری می کند. به عنوان مثال، ساعات اداری میزان حضور، انواع داده‌ها و سؤالات دریافتی در ساعات اداری یا برنامه‌های پشتیبانی برای تولیدکنندگان مجموعه داده که کارت‌های داده را ایجاد می‌کنند، اندازه‌گیری می‌کند.

کارت داده : چگونگی تأثیر یک کارت داده بر کیفیت و منحصر به فرد بودن سؤالات مربوط به مجموعه داده و تأثیر بر استفاده مناسب از مجموعه داده را اندازه گیری می کند. برای مثال، مشکلات پس از راه‌اندازی، اشکالات، سؤال‌ها یا درخواست‌های ویژگی مربوط به مجموعه داده‌های ثبت‌شده را به‌عنوان مسائلی که توسط «کارت داده» پاسخ داده نمی‌شوند، ردیابی می‌کنند.

تبدیل

درصد تولیدکنندگانی که یک کارت داده را از یک الگو تکمیل و منتشر می‌کنند و درصد خوانندگانی که در مورد یک مجموعه داده بر اساس کارت داده آن تصمیم می‌گیرند را ردیابی می‌کند.

الگو : به محض اینکه تلاشی برای Data Cards در سازمان خود راه اندازی کردید، صرف نظر از مقیاس، و اینکه آیا موقتی است.

کارت داده : زمانی که کارت داده برای مصرف و پیگیری در طول زمان در دسترس قرار می گیرد.

الگو : میزان موفقیت تولیدکننده را با تکمیل الگوهای کارت داده اندازه گیری می کند. به عنوان مثال، تجزیه و تحلیل میزان تکمیل و زمان انتشار، و درصد بخش‌های مربوطه را در قالب Data Card دنبال می‌کند.

کارت داده : میزان موفقیت خواننده را با تصمیم گیری بر اساس کارت داده اندازه گیری می کند. به عنوان مثال، مطالعات کیفی مصاحبه و مطالعات رضایت را با خوانندگان انجام می دهد که بینشی را در مورد دقت تصمیم گیری و میزان تکمیل کار ارائه می دهد.

نامزدی

میزان مشارکت فعال مخاطبان شما با محتوای شما، مانند کارت داده، را ردیابی می کند.

الگو : پس از ایجاد و انتشار الگوهای کارت داده در سازمان شما.

کارت داده : زمانی که کارت داده در کنار مجموعه داده هایی که نشان می دهد به صورت عمومی در دسترس است. اگر کارت داده قابل کشف نباشد یا منابع اسنادی رقیب – نه مکمل – داشته باشد، این معیار کمتر مفید است.

الگو : میزان مشارکت و تعهدی که تولیدکنندگان مجموعه داده در برنامه کارت داده دارند را اندازه گیری می کند. به عنوان مثال:

  • نرخ اشتراک‌گذاری الگو، درصد تولیدکنندگانی است که الگوهای کارت داده را با دیگر صاحبان داده به اشتراک می‌گذارند.
  • نرخ ایجاد ارگانیک درصدی از کارت‌های داده است که بدون نیاز به انجام آن ایجاد می‌شوند.
  • کیفیت پاسخ ها دقت و مفید بودن اطلاعات ارائه شده در Data Cards است.

کارت داده : میزان استفاده از کارت داده و تولید دانش از آن را اندازه گیری می کند.
به عنوان مثال:

  • تکرار استفاده تعداد دفعاتی را که عوامل یا کاربران مجموعه داده برای اطلاعات بیشتر به کارت داده مراجعه می کنند اندازه گیری می کند.
  • هر بخش، معیارهای تعامل را در هر بخش از کارت داده اندازه‌گیری می‌کند و اشتراک‌های پیوند عمیق را در هر بخش از کارت داده ردیابی می‌کند.

رسیدن

تعداد کل افراد منحصر به فردی را که کارت داده شما را می بینند ردیابی می کند. این یک پیشرو مهم برای معیارهای اضافی مانند تعامل و تبدیل است.

الگو : پس از ایجاد و انتشار الگوهای کارت داده در سازمان شما.

کارت داده : زمانی که کارت داده در کنار مجموعه داده هایی که نشان می دهد به صورت عمومی در دسترس است. اگر کارت داده قابل کشف نباشد یا منابع اسنادی رقیب – نه مکمل – داشته باشد، این معیار کمتر مفید است.

الگو : تعداد کارت های داده ای را که یک سازمان می تواند تولید کند نسبت به تعداد مجموعه داده هایی که دارد اندازه گیری می کند.

کارت داده : ترافیک و کیفیتی که یک کارت داده دریافت می کند و ترافیکی که به مجموعه داده می آورد را اندازه گیری می کند. برای مثال، گزارش‌های اصطکاک، چالش‌ها، مشکلات یا ناامیدی‌هایی را که تولیدکنندگان مجموعه داده و کارت‌خوان‌های داده ممکن است در جلسات گروه متمرکز داشته باشند، ردیابی می‌کنند.

برای اطلاعات بیشتر، Telemetry at Scale را ببینید.

عملیاتی کردن این معیارهای تله متری ممکن است به سطوح مختلفی از منابع و پشتیبانی نیاز داشته باشد. به عنوان مثال، گروه‌های تمرکزی که مشخص می‌کنند چگونه یک کارت داده برای تولیدکننده مناسب است، در مقایسه با تجزیه و تحلیل‌هایی که نرخ تکمیل کارت داده را ثبت می‌کنند، به مجموعه منابع متفاوتی نیاز دارند. به طور مشابه، اندازه‌گیری ترافیک به یک کارت داده به منابع نسبتاً کمتری نسبت به یک سری مصاحبه‌های پس از راه‌اندازی نیاز دارد که سطوح تعامل را باز می‌کنند. می‌توانید این دسته‌بندی‌های مختلف را با تصمیم‌گیرندگان چندکاره در سازمان خود مرور کنید تا تعیین کنید کدامیک برای ردیابی تأثیر و چگونه باید استفاده شود.

خلاصه

در پایان، معیارهایی که تأثیر یک کارت داده را اندازه می‌گیرند با معیارهایی که پیشرفت شما در تکمیل کارت داده را اندازه‌گیری می‌کنند، متفاوت است. بلوغ یک مجموعه داده می تواند نحوه تفسیر معیارهای کارت داده را تغییر دهد. بلوغ و محبوبیت مجموعه داده را در نظر بگیرید و تأثیر کمی، کیفی و حکایتی را به طور هماهنگ در نظر بگیرید.

5. معیارهای خود را انتخاب کنید

همانطور که گفته شد، زمینه شما معیارهایی را تعیین می کند که برای اطمینان از تحقق اهداف شفافیت خود به آن نیاز دارید.

برای انتخاب معیارهای خود، این مراحل را دنبال کنید:

  1. اهداف خود را متنوع کنید. اهداف تیمی را برای تلاش‌های شفاف‌سازی خود تعیین کنید که نه تنها پیشرفت شما در تکمیل کارت داده‌تان را ارزیابی می‌کند، بلکه تأثیر آن را بر خوانندگان شما پس از ایجاد و راه‌اندازی آن ارزیابی می‌کند.
  2. معیارهای سرب و تاخیر را تعریف کنید. برای هر معیار تاخیری که به شما می‌گوید چه زمانی به یک هدف می‌رسید، معیارهای سرنخ را برای ردیابی فعالیت‌های مهمی که به هدف کمک می‌کنند، ایجاد کنید.
  3. آهنگی را برای مطالعات تکمیلی و کیفی تنظیم کنید. همانطور که زیرساخت های لازم را برای اندازه گیری کارت های داده در سراسر سازمان خود راه اندازی می کنید، برنامه ای برای اجرای منظم مطالعات کیفی برای تأیید نتایج و کالیبره کردن معیارهای کمی ایجاد کنید.
  4. تیم های داده فردی را آموزش دهید. تیم‌هایی را که مجموعه داده‌ها و کارت‌های داده تولید می‌کنند، فعال کنید تا معیارهای کمی و کیفی را به صورت هماهنگ در چارچوب مجموعه داده‌ها و کارت‌های داده خود تفسیر کنند.

6. تبریک می گویم

تبریک می گویم! شما همه چیز مورد نیاز برای ایجاد یک کارت داده را دارید! اکنون شما آماده شرکت در یک مسابقه برای آزمایش دانش خود هستید.