יחידה 4: ביקורת

1. הערכה

אחרי שהכרטיס מוכן לפרסום, צריך לבצע את הפעולות הבאות כדי להשיג את מטרות השקיפות:

• אפשר להשתמש בשיטות הערכה כדי לקבל תובנות לגבי הביצועים של כרטיס הנתונים בקרב הקוראים.
• עליכם לעקוב באופן שיטתי אחר השימוש בכרטיס הנתונים וההטמעה שלו כדי לוודא שהוא תואם לתחומי העניין של הקוראים.

במודול הזה מוצגות כמה גישות לביקורת של כרטיס הנתונים שהשלמתם, כדי להמשיך להשתמש בו בהצלחה גם אחרי הפרסום.

כמו שציינו במודולים הקודמים, המטרה העיקרית של קורא כרטיסי נתונים היא להעריך את מערך הנתונים. לכן, כשמעריכים כרטיס נתונים של מערך נתונים, צריך להתמקד בשאלה אם הקורא יכול להגיע למסקנות מקובלות לגבי מערך הנתונים.

המידע בכרטיס הנתונים צריך להתאים לחוויית הקריאה של מערך הנתונים. המידע הזה משפיע ישירות על האמונה של הקורא באמינות ובמהימנות של מערך הנתונים, ובהמשך על המוניטין והאמון במחברים או בבעלי התוכן הדיגיטלי של מערך הנתונים.

באופן הפוך, האמונות הקיימות של הקורא לגבי מערך הנתונים, הארגון ומערכי נתונים אחרים שפורסמו על ידי הארגון יכולות גם להשפיע על האינטראקציה שלו עם כרטיס הנתונים, ללא קשר למידת הגילוי, השימושיות או המבנה שלו.

לדוגמה, קוראים שהייתה להם חוויה חיובית עם מערכי נתונים שפורסמו בעבר על ידי ארגון מסוים, עשויים לתת אמון רב יותר במערך נתונים חדש שפורסם על ידי אותם מחברים. במקרה כזה, יכול להיות שהקורא יסיק מסקנות אינטואיטיביות, ולא יקרא את כרטיס הנתונים החדש בצורה מדוקדקת מספיק כדי להבין בצורה הטובה ביותר את מערך הנתונים, ובמיוחד את ההבדלים בינו לבין מערך נתונים ישן יותר ודומה.

לכן, כדי להעריך כרטיס נתונים, צריך להשתמש בגישות שיכולות לקבוע אם הקוראים יכולים להגיע למסקנות מקובלות לגבי מערך הנתונים בהקשר שלהם. ההערכות האלה שונות מהערכות של מערך הנתונים עצמו, שלא בהכרח חושפות מידע רב על היעילות של כרטיס הנתונים שמצורף אליו. במקום זאת, צריך להעריך את כרטיס הנתונים באמצעות מחקר משתמשים או מחקר דומה, שיעזור לכם להבין אם הקוראים השונים מבינים את התוכן, או לגלות אם הקוראים עדיין מגיעים לתובנות פרקטיות בזמן שאתם מבצעים איטרציה על כרטיס הנתונים. גישה נוספת היא למדוד את ההטמעה והיעילות של כרטיס הנתונים באמצעות שביעות רצון המשתמשים, סקרים וניתוח נתונים בהטמעה של כרטיס הנתונים. במובן הזה, כרטיס נתונים יכול להיות כלי שימושי להבנה ולהערכה של הצלחת קבוצת הנתונים, ולספק תמונה ברורה יותר של הצרכים של בעלי העניין בהמשך התהליך.

דרישות

במחזור החיים של מערך נתונים יש מגוון בעלי עניין, שלכל אחד מהם יש רמות שונות של ידע בנתונים, מומחיות בתחום ודרישות.

דרישה היא הצהרה שמזהה מוצר או תהליך תפעולי, פונקציונלי, מאפיין עיצוב או מגבלה שהם חד-משמעיים, ניתנים לבדיקה ונחוצים כדי שהמוצר או התהליך יהיו מקובלים. היעדים של מערך הנתונים, בעלי העניין במחזור החיים של מערך הנתונים וההטמעה של מאמצי השקיפות שלכם משפיעים על קביעת הדרישות וקריטריוני ההערכה של כרטיס הנתונים. לדוגמה, מנהלי מוצר, מהנדסים, מדעני נתונים, מעצבי AI ובוחני IRB רבים עשויים להשתמש בתשובות בכרטיס נתונים. במקרה כזה, תהליך הערכה טוב יכלול קריטריונים שקשורים ישירות לדרישות הפונקציונליות, התפעול, נוחות השימוש והבטיחות של כל אחד מהתפקידים האלה.

סיכום

שיטות הערכה שונות מניבות תובנות שונות לגבי היעילות של כרטיס נתונים. חשוב לבחור שיטות הערכה שאפשר להשתמש בהן לאורך תהליך התיעוד של השקיפות, מהיצירה ועד ההשקה ולאחר מכן.

ארבעת הדרישות שהוצגו במודול הזה – פונקציונליות, תפעול, שימושיות ובטיחות – יחד עם הממדים שהוצגו במודול השני – אחריותיות, תועלת, איכות, השלכות השימוש וסיכון/המלצות – הם נקודת התחלה טובה להערכת הביצועים הכוללים של כרטיס הנתונים מנקודת המבט הישירה של הקוראים.

2. קביעת הדרישות

• כדי לקבוע מהן הדרישות שלכם, אפשר להשתמש בטבלה הבאה, שכוללת את הדרישות, את הקריטריונים להערכה ודוגמאות לדרכים שבהן אפשר לקבוע אם כרטיס הנתונים עומד בקריטריונים האלה, תוך התחשבות בקורא ובתפקיד:

דרישה	הקריטריונים להערכה	דוגמה
פונקציונליות	האם כרטיס הנתונים מאפשר לקוראים להשלים את המשימות שלהם בהתאם לתפקידים שלהם?	נניח שמהנדס נתונים מעוניין לשלב את מערך הנתונים שלכם בצינור עיבוד הנתונים שלו. האם בכרטיס הנתונים מופיע המידע שנדרש להטמעה מוצלחת של התשתית שדרושה לשימוש במערך הנתונים?
תפעולי	האם כרטיס הנתונים מאפשר לקוראים לזהות את היכולות החיוניות, מדדי הביצועים, הדרישות והתהליכים הנלווים האחרים שנדרשים כדי להשתמש במערך הנתונים בצורה יעילה?	נניח שיוצר מודלים של למידת מכונה (ML) רוצה לבצע כוונון עדין של מערכת המלצות באמצעות מערך הנתונים שלכם. האם בכרטיס הנתונים יש מספיק מידע כדי לקבוע את האילוצים ואת דרישות הביצועים שצריך לעמוד בהם?
נוחות השימוש	האם הקוראים יכולים לנווט בקלות בכרטיס הנתונים ולבצע בו פעולות? האם ההטמעה של כרטיס הנתונים עומדת בהיוריסטיקות בסיסיות של שימושיות ובסטנדרטים של נגישות?	נניח שיש תלמיד שרוצה להשתמש במערך הנתונים שלכם, אבל יש לו גישה מוגבלת לאינטרנט. אילו אתגרים עלולים להתעורר כשמטמיעים בכרטיס הנתונים תצוגה חזותית אינטראקטיבית של מערך הנתונים? אילו ליקויי ממשק משתמש עלולים למנוע מקורא מסך לתרגם את כרטיס הנתונים עבור קורא עם לקות ראייה?
בטיחות	האם המידע שמופיע בכרטיס הנתונים שימושי לאנשי מקצוע כדי להעריך תוצאות לא רצויות פוטנציאליות שקשורות למערך הנתונים בדומיינים שלהם?	לדוגמה, מומחי ML שעובדים בתחום בעל סיכון גבוה, כמו בריאות. האם כרטיס הנתונים מתאר את דרישות האבטחה, הפרטיות, האמינות והתאימות המתאימות שצריך לחשוף כדי למנוע תוצאות גרועות עבור המטופלים?

מידע נוסף זמין במאמר בנושא הערכה באמצעות קוראים.

3. קביעת המאפיינים

• כדי לקבוע את המימדים, כדאי להזמין קורא פוטנציאלי להעריך את כרטיס הנתונים לפי חמשת המימדים, ולהשתמש בטופס הבא כדי להעריך את הביצועים של כרטיס הנתונים בכל מימד:

4. טלמטריה בקנה מידה גדול

כדי שכל סוג של תיעוד שמתמקד בשקיפות יצליח, צריך להתייחס לתיעוד כמו למוצר שמתמקד במשתמש. מעקב שיטתי אחרי השימוש בכרטיס הנתונים נחוץ כדי לגבש אסטרטגיות שקופות לטווח ארוך ויוזמות רחבות שחוצות גבולות בין מחלקות שונות. אין גישה אחת שמתאימה לכולם למדידת ההצלחה של מאמצי השקיפות, אבל יש מגוון גורמים שכדאי לקחת בחשבון כשמגדירים את התוכנית למעקב אחר ההשפעה, כמו רמת הבשלות והיעדים של מאמצי השקיפות, גודל הארגון או מערכי הנתונים המתועדים.

לדוגמה, אתם מגלים שקל יותר להטמיע חלק מהטפסים של טלמטריה למדידת היעילות של כרטיסי נתונים בהטמעות של כרטיסי נתונים אינטראקטיביים מאשר בקובצי PDF. מצד שני, כדי למדוד את היעילות של כרטיס הנתונים, יכול להיות שתצטרכו להגדיר מנגנונים מותאמים אישית למדידת כרטיסי נתונים לא מלאים או נטושים בארגון.

מדידת ההשפעה

באופן כללי, אפשר לסווג את המדדים של תבנית כרטיס נתונים ואת מידת השימוש בה ל-7 קטגוריות: איכות התיעוד, עמידות ויציבות, מובנות, תמיכה, המרה, מעורבות והיקף חשיפה. עם זאת, המדדים האלה לא שווים, אלא צריך להתייחס אליהם בהקשרים שלכם. בטבלה הבאה מפורטים שבעת הסוגים של נתוני כרטיסים ותבניות של כרטיסי נתונים, מוגדרים ומסביר מתי ואיך למדוד אותם:

הערה: תבניות של כרטיסי נתונים הן סכימות של מטא-נתונים שהיוצרים ממלאים בפרטים על מערך הנתונים שלהם כדי ליצור כרטיסי נתונים. במילים אחרות, קבוצת השאלות שיוצרים ב-codelab של מודול 1: שאלות וב-codelab של מודול 2: בדיקה היא התבנית שלכם, וה-codelab של מודול 3: תשובות מספק הנחיות להשלמת התבנית. התהליך ליצירת תבנית זהה לתהליך ליצירת כרטיס נתונים יחיד, אבל יכול להיות שתרצו ליצור חבילה של כרטיסי נתונים עם רכיבים שחוזרים על עצמם. האפשרות הזו שימושית במיוחד אם משיקים כמה מערכי נתונים דומים ורוצים להשתמש בכרטיסי נתונים כדי להשוות בין מערכי הנתונים. במקרה כזה, צריך למדוד את ההשפעה לא רק של כרטיס הנתונים, אלא גם של התבנית. הטבלה הבאה עוזרת לכם למדוד את ההשפעה בכל אחד מהמקרים.

קטגוריה	הגדרה	מתי כדאי למדוד	איך מודדים
תקינות מאמרי העזרה	מידת שביעות הרצון של הקורא מהחוויה שלו בשימוש במערך הנתונים, בהשוואה לציפיות שנוצרו בעקבות כרטיס הנתונים.מידת הדיוק של חוויית היוצר בתיאור מערך הנתונים, בהשוואה לציפיות שנקבעו על ידי תבנית כרטיס הנתונים.	תבנית: במהלך ההשלמה או מיד אחרי שיוצרי מערך הנתונים משלימים את כרטיסי הנתונים. כרטיס נתונים: לפני הפצה של כרטיס נתונים שהושלם עם קבוצת קהל לדוגמה, ובתדירות קבועה אחרי ההפצה עם קוראים בפועל.	תבנית: מדד שבודק עד כמה תבנית של כרטיס נתונים מתארת את מערכי הנתונים שהיא מיועדת להם. לדוגמה, שיעור השאלות שלא נענו הוא אחוז השאלות שלא נענו באופן עקבי עבור סוג של מערכי נתונים. כרטיס נתונים: מדד שבודק את רמת הדיוק שבה כרטיס נתונים מלא מתאר את מערך הנתונים ואת השימוש בו. לדוגמה, בהשוואות של שביעות רצון הקוראים נאספים ציונים של שביעות רצון הקוראים לכרטיס מידע, והם מושווים להערכה שלכם לפני פרסום כרטיס המידע.
יכולת התמודדות ויציבות	היכולת של תבנית כרטיס נתונים לעמוד בשינויים או בתוספות, במיוחד אם היא נמצאת בשימוש בכמה דומיינים או כשקוראים אותה קהלים מגוונים.	תבנית: במהלך ההשלמה או מיד אחרי שהמפיקים משלימים את כרטיסי הנתונים. שימו לב במיוחד לשינויים שבוצעו אחרי ההשקה כרטיס נתונים: כשמתבצעים שינויים ותוספות אחרי ההשקה.	תבנית: מדד שמודד את המגוון של מערכי נתונים שתבנית מסוימת לוכדת ללא עריכות, את העריכות הנפוצות ביותר ואת נפח השאלות שהתשובות עליהן שגויות או שהן מנוסחות מחדש. לדוגמה, יחס העריכה הוא היחס בין מספר כרטיסי הנתונים שנוצרו באמצעות תבנית לבין מספר העריכות שבוצעו בתבנית. כרטיס נתונים: מדד שבודק את מספר השינויים ותוספות התוכן שבוצעו בכרטיס נתונים שפורסם, ואת התדירות של השינויים האלה. לדוגמה, הזמן הממוצע בין כשלים הוא מדד שמציג את הזמן הממוצע בין אירוע שבו כרטיס נתונים נערך.
היכולת להבין	עד כמה קל למפיק להצטרף ולהשתמש בתבנית של כרטיס נתונים, ועד כמה קל לקורא חדש של כרטיס נתונים להצטרף, להתרגל ולהשתמש במידע בכרטיס נתונים מלא.	תבנית: כשמספקים תבניות ליוצרי מערכי נתונים כדי שימלאו אותן בנקודות ציון במהלך תהליך היצירה. כרטיס נתונים: אחרי הפצה ציבורית או השקה של כרטיסי נתונים.	תבנית: מדד להבנה של התבנית של כרטיס הנתונים ולרמת הקושי של הקטעים שלה. לדוגמה, במחקרים מעצבים מגייסים באופן יזום קוראים להשתתפות בסקרים ובסיורים קוגניטיביים כדי לקבל תובנות ספציפיות. כרטיס נתונים: הכרטיס הזה מודד את רמת ההבנה של הקוראים ואת מידת השימושיות של כרטיס הנתונים, וגם את מידת ההתאמה שלו לקוראים שונים. לדוגמה, מערכות ניתוח נתונים עוקבות אחרי מדדי תנועה ומעורבות כדי לזהות דפוסים להבנה כוללת. עם זאת, חשוב להיזהר ממדדי שחצנות.
יכולת תמיכה	היכולת לספק תמיכה כדי לשמור על כרטיסי הנתונים, וכמות התמיכה שסופקה.	תבנית: ברגע שמגדירים בארגון כרטיס נתונים, ללא קשר להיקף השימוש בו, ואם הוא מיועד לשימוש חד-פעמי. כרטיס נתונים: כשהכרטיס זמין לשימוש ולמעקב לאורך זמן.	תבנית: מדד שמשמש למדידת הזמן הנוסף והמומחיות שנדרשים כדי להשלים ולפרסם תבנית של כרטיס מידע. לדוגמה, שעות קבלה למשתמשים מודדות את הנוכחות, את סוגי מערכי הנתונים ואת השאלות שהתקבלו במהלך שעות הקבלה או תוכניות התמיכה ליוצרי מערכי נתונים שיוצרים כרטיסי נתונים. כרטיס נתונים: מדד שבודק איך כרטיס נתונים משפיע על האיכות והייחודיות של שאלות לגבי מערך נתונים, ועל השימושים המתאימים במערך הנתונים. לדוגמה, בעיות אחרי ההשקה כוללות מעקב אחרי באגים, שאלות או בקשות לתכונות שקשורות למערך הנתונים, שמוגדרות כבעיות שלא מקבלות מענה בכרטיס הנתונים.
המרה	מעקב אחרי אחוז היוצרים שממלאים ומפרסמים כרטיס נתונים מתבנית, ואחרי אחוז הקוראים שמקבלים החלטות לגבי מערך נתונים על סמך כרטיס הנתונים שלו.	תבנית: ברגע שמגדירים מאמץ של כרטיסי נתונים בארגון, ללא קשר להיקף, ואם מדובר במאמץ אד-הוק. כרטיס נתונים: כשהכרטיס הופך לזמין לשימוש ולמעקב לאורך זמן.	תבנית: מדד לשיעורי ההצלחה של היוצרים בהשלמת תבניות של כרטיסי נתונים. לדוגמה, ב-Analytics מתבצע מעקב אחר שיעור ההשלמה והזמן עד לפרסום, ואחר אחוז הקטעים הרלוונטיים בתבנית של כרטיס נתונים: מדד שמשקף את שיעור ההצלחה של הקוראים בקבלת החלטות על סמך כרטיסי נתונים. לדוגמה, במחקרים איכותניים מתבצעים ראיונות ומחקרים בנושא שביעות רצון בקרב קוראים, שמספקים תובנות לגבי דיוק ההחלטות ושיעור השלמת המשימות.
מעורבות	המדד הזה עוקב אחרי רמת המעורבות של הקהל עם התוכן שלכם, כמו בכרטיס הנתונים.	תבנית: אחרי שתבניות של כרטיסי נתונים נוצרות ומופצות בארגון. כרטיס נתונים: כשהכרטיס זמין לכולם לצד מערכי הנתונים שהוא מייצג. המדד הזה פחות שימושי אם כרטיס הנתונים לא גלוי או אם יש לו מקורות תיעוד מתחרים ולא משלימים.	תבנית: מדד לרמת המעורבות והמחויבות של יוצרי מערך הנתונים בתוכנית כרטיסי נתונים. לדוגמה: שיעור השיתוף של תבניות הוא אחוז היוצרים שמשתפים תבניות של כרטיסי נתונים עם בעלים אחרים של מערכי נתונים. שיעור היצירה האורגנית הוא אחוז כרטיסי הנתונים שנוצרו בלי שהייתה דרישה לכך. איכות התשובות היא מידת הדיוק והתועלת של המידע שמוצג בכרטיסי הנתונים. כרטיס נתונים: מודד את השימוש בכרטיס הנתונים ואת יצירת הידע ממנו. לדוגמה: המדד 'שימוש חוזר' מודד את מספר הפעמים שסוכנים או משתמשים במערך הנתונים מפנים לכרטיס הנתונים כדי לקבל מידע נוסף. בכל קטע מוצגים מדדי מעורבות לכל קטע בכרטיס הנתונים, ומתבצע מעקב אחר שיתופים של קישורים עמוקים לכל קטע בכרטיס הנתונים.
פוטנציאל החשיפה	המדד הזה עוקב אחרי המספר הכולל של אנשים ייחודיים שרואים את כרטיס הנתונים. זהו שלב מקדים חשוב למדדים נוספים כמו מעורבות והמרה.	תבנית: אחרי שתבניות של כרטיסי נתונים נוצרו והופצו בארגון. כרטיס נתונים: כשהכרטיס זמין לציבור לצד מערכי הנתונים שהוא מייצג. המדד הזה פחות שימושי אם כרטיס הנתונים לא גלוי או אם יש לו מקורות תיעוד מתחרים ולא משלימים.	תבנית: מדד שבודק את מספר כרטיסי הנתונים שארגון יכול ליצור ביחס למספר מערכי הנתונים שיש לו. כרטיס נתונים: מדד שבודק את התנועה והאיכות של כרטיס נתונים ואת התנועה שהוא מביא למערך הנתונים. לדוגמה, יומני חיכוך עוקבים אחרי האתגרים, הקשיים או התסכולים שנתקלים בהם יוצרי מערכי נתונים וקוראי כרטיסי נתונים במהלך מפגשי קבוצות מיקוד.

מידע נוסף זמין במאמר בנושא טלמטריה בהיקף נרחב.

הערה: רמת הבשלות של מערך נתונים משפיעה על היעילות של כרטיס הנתונים שלו ועל הפרשנות של המדדים.

הפעלת מדדי הטלמטריה האלה עשויה לדרוש רמות שונות של משאבים ותמיכה. לדוגמה, קבוצות מיקוד שבודקות עד כמה כרטיס נתונים ידידותי למפיקים דורשות מערך משאבים שונה באופן משמעותי בהשוואה לניתוח נתונים שמתעד את שיעורי ההשלמה של כרטיסי נתונים. באופן דומה, כדי למדוד את התנועה לכרטיס נתונים נדרשים יחסית פחות משאבים מאשר כדי לערוך סדרה של ראיונות אחרי ההשקה כדי להבין את רמות המעורבות. אתם יכולים לבדוק את הקטגוריות השונות האלה עם מקבלי החלטות חוצי-תחומים בארגון כדי לקבוע באילו קטגוריות כדאי להשתמש כדי לעקוב אחרי ההשפעה ואיך לעשות את זה.

סיכום

בסופו של דבר, המדדים למדידת ההשפעה של כרטיס נתונים שונים מהמדדים למדידת ההתקדמות שלכם בהשלמת כרטיס הנתונים. רמת הבשלות של מערך נתונים יכולה לשנות את האופן שבו מפרשים את המדדים בכרטיס הנתונים. צריך לקחת בחשבון את רמת הבשלות והפופולריות של מערך הנתונים, ולבחון את ההשפעה הכמותית, האיכותית והאנקדוטלית ביחד.

5. בחירת מדדים

כמו שצוין, ההקשר שלכם קובע את המדדים שאתם צריכים כדי לוודא שאתם עומדים ביעדי השקיפות שלכם.

כדי לבחור את המדדים:

1. כדאי לגוון את היעדים. הגדירו יעדים צוותיים למאמצי השקיפות שלכם, שלא רק יבדקו את ההתקדמות שלכם בהשלמת כרטיס הנתונים, אלא גם את ההשפעה שלו על הקוראים אחרי שתיצרו אותו ותשיקו אותו.
2. הגדרת מדדים מובילים ומדדים מפגרים לכל מדד של זמן השהיה שמציין מתי הגעתם ליעד, כדאי להגדיר מדדים מובילים למעקב אחרי פעילויות קריטיות שתורמות להשגת היעד.
3. הגדרת קצב לביצוע מחקרים משלימים ואיכותיים. בזמן שאתם מגדירים את התשתית הנדרשת למדידת כרטיסי נתונים בארגון, כדאי ליצור תוכנית להפעלת מחקרים איכותניים באופן קבוע כדי לאמת את התוצאות ולכייל מדדים כמותיים.
4. להכשיר צוותי נתונים ספציפיים. לאפשר לצוותים שמפיקים מערכי נתונים וכרטיסי נתונים לפרש מדדים איכותיים וכמותיים ביחד בהקשר של מערכי הנתונים וכרטיסי הנתונים שלהם.

6. מזל טוב

מעולה! יש לכם את כל מה שצריך כדי ליצור כרטיס נתונים. עכשיו אפשר לגשת לחידון כדי לבדוק את הידע.