מסגרת לבדיקת עומסים של שירות צבירה

נשמח לקבל את המשוב שלכם על המסמך הזה בזמן שאנחנו מתכוננים להוסיף אותו למאגר ההנחיות הציבורי שלנו.

אנחנו ממליצים להשתמש בטכנולוגיות פרסום כדי לבצע בדיקות עומסים על 100% מהתנועה בסביבת הייצור:

  1. טכנולוגיות פרסום צריכות לגשת למדידה של ייחוס המרות באמצעות Attribution Reporting API כתרחישי הדיווח שלהם.
  2. טכנולוגיות הפרסום צריכות לקבל החלטות בנוגע לעיצוב תוך מזעור הרעש (הפניה: החלטות עיצוב לפי מודל)
  3. במהלך הבדיקה, טכנולוגיות הפרסום צריכות לעקוב אחר מספר המשימות שהן פועלות ביום (למשל לכל משימה של מפרסם), התפלגות משוערת של נפח אירועי ההמרה ומספר המפתחות המצטברים כקלט לכל משימת עיבוד (מידע נוסף זמין בכתובת tooutput_domain_blob_prefix פרמטר משימה בתיעוד של Service API של צבירה) וממוצע משוער של אירועי המרה לכל דוח קלט.
  4. לצורך בדיקה, טכנולוגיות הפרסום צריכות לחפש את סוג המכונה המומלץ בטבלת ההנחיות לשינוי גודל, על סמך גודל המשימה הצפוי (כלומר, נפח הדוחות, גודל הדומיין) והגודל של שירות הצבירה שנפרס בהתאם. מידע נוסף: הנחיות להתאמת הגודל של שירות Aggregated ב-AWS
  5. טכנולוגיות הפרסום צריכות לבצע משימות צבירה לבדיקות עומס.

שערים

ההנחיות האלה ספציפיות למעקב המרות מצטבר של המרות ויכללו הוראות להגדרה ולהגדרה של מפתחות שטכנולוגיות הפרסום משתמשות בהן כדי:

  • מעריכים את ציפיות העומס כדי למדוד שיוך מצטבר של המרות.
  • לבצע אופטימיזציה של הגדרת המפתח וההגדרה שלו לביצועים ורעש, על סמך המאפיינים והיעדים שהם התכוונו למדוד, והגודל והפילוח של המפרסמים.

ידע מוקדם שנדרש לקורס

המדריך הזה מיועד לקהל של משתמשים טכניים. לפני שמבצעים את השלבים הבאים, כדאי לעיין במסמכי התיעוד בנושא עבודה עם רעש, החלטות לגבי עיצוב דוח סיכום ולהתנסות במעבדת רעש כדי לקבוע את ההגדרות האופטימליות.

רשימת השלבים

1. אסטרטגיה להגדרת מפתח צבירה ראשונית

קבעו כמה מבני מפתחות שונים (כלומר קבוצת מאפיינים) אתם צריכים, בהתאם לסוג העסק והמטרות שלו. שימו לב: אופטימיזציה של מבנה המפתחות יכולה לעזור להפחית את הרעש בדוחות.

מספר המפרסמים שיש לכם
לדוגמה, נניח שיש לכם 1,000 מפרסמים.

הדמיון בין המפרסמים
יש להעריך את הדמיון על סמך נפח ההמרות, ערכי המרות יחסיים וכיסוי כללי של מאפייני המפרסם. ככל שתוכלו לקבץ אותן בצורה דומה יותר, כך התוצאות יהיו מתוקנות יותר (בגלל פחות שונות בערכי הפלט), ולכן השפעת הרעש תפחת. פרטים נוספים זמינים במאמר ניהול מתקדם של מפתחות. לדוגמה, טכנולוגיית פרסום יכולה לפלח את המפרסמים שלה לפי תעשייה, הוצאות ונפח המרות באופן הבא:

  • תעשייה (לדוגמה: ביטוח, תכשיטים, קמעונאות בצמיחה)
  • הוצאה (לדוגמה: <50,000$ ברבעון, 50$-150,000$ ברבעון, 150,000$-250,000$ לרבעון)
  • נפח המרות (נמוך, בינוני, גבוה)

מספר מבני המפתח המצטברים שצריך ליצור
לדוגמה, 27 (3x3x3) : 3 תחומים, 3 סוגי הוצאות ו-3 קבוצות של ערכי המרות.

2. זיהוי המאפיינים המרכזיים של צבירה

בשלב הבא מזהים את המאפיינים החשובים שרוצים לעקוב אחריהם גם לגבי חשיפות וגם לגבי המרות, כדי להעריך את מספר המפתחות ואת מספר המפתחות בצד הטריגר.

המאפיינים החשובים אחרי חשיפות של כל מבנה של מפתח צבירה יעזרו לכם לקבוע את מספר המפתחות בצד המקור. המאפיינים תלויים בסוג המפרסם שמופיע במקום הראשון למעלה (כלומר, תחום, הוצאה, המרה). הדוגמאות הבאות עוזרות להבין את המאפיינים:

  • מבנה מפתח 1: (ענף = ביטוח, הוצאה = <50,000, נפח המרות = נמוך)

    • תשובה: 4 מאפיינים: קמפיין (למשל: 50 אפשרויות), קבוצת מודעות (למשל: 20 אפשרויות), סוג המכשיר (למשל: 5 אפשרויות), מיקום גיאוגרפי (למשל: 50 אפשרויות)
      1. שילובים אפשריים של מידות = 250,000: 50 x 20 x 5 x 50. הערך הזה מייצג את מספר השילובים האפשריים של המימדים במפתחות בצד המקור למבנה מפתח 1.
      2. צריך לשמור 18 ביט (18 ביט = 262,144 שילובים אפשריים)

  • מבנה מפתח 2: (ענף = ביטוח, הוצאה = פחות מ-50,000, נפח המרות = בינוני)

    • תשובה: 4 מאפיינים: קמפיין (למשל: 30 אפשרויות), קבוצת מודעות (למשל: 80 אפשרויות), סוג מודעה (למשל: 3 אפשרויות), מיקום גיאוגרפי (למשל: 50 אפשרויות).
      1. שילובים אפשריים של מימדים = 30 x 80 x 3 x 50 = 360,000. הערך הזה מייצג את מספר שילובי הממדים האפשריים או את מספר המפתחות בצד המקור למבנה מפתח 2.
      2. צריך לשמור 19 ביט (19 ביטים) = 524,288 שילובים אפשריים)

  • מבנה מפתחות 3: חזרה (בדומה לתוכנית לכל מבני המפתח שיש לכם)

בכל מבנה של מפתח צבירה, המאפיינים החשובים שצריך לעקוב אחריהם כדי לאתר המרות יעזרו לך לקבוע את המפתחות בצד הטריגר. לדוגמה:

  • מבנה מפתח 1: (ענף = ביטוח, הוצאה = <50,000, נפח המרות = נמוך)

    • תשובה: 2 מאפיינים: קטגוריית מוצרים (למשל: 100 אפשרויות), סוג ההמרה (למשל: 5 אפשרויות)
      1. שילובים אפשריים של מימדים = 100 x 5 = 500
      2. צריך לשמור 9 ביטים (9 ביט = 512 שילובים אפשריים)

  • מבנה מפתח 2: (ענף = ביטוח, הוצאה = פחות מ-50,000, נפח המרות = בינוני)

    • תשובה: 3 מאפיינים: קטגוריית מוצרים (למשל: 50 אפשרויות), סוג המוצר (10 אפשרויות), סוג המרה (3 אפשרויות)
      1. שילובים אפשריים של מימדים = 50 x 10 x 3 = 1,500
      2. צריך לשמור 11 ביטים (11 ביט = 2,048 שילובים אפשריים)

  • מבנה מפתח 3: חוזר (בדומה לתוכנית לכל מבני המפתחות שיש לכם)

אומדנים למפתחות מצטברים

  • מבנה מפתח 1: 250,000 מפתחות חשיפות כפול 500 מפתחות המרה = 125,000,000 מפתחות
  • מבנה מפתח 2: 360,000 מפתחות של חשיפות כפול 1,500 מפתחות המרה = 540,000,000 מפתחות
  • מבנה מפתח 3: (תוכנית דומה לכל מבני המפתח שיש לכם)
  • חזרו על כל מבנה מפתח
  • מספר המפתחות המצטבר המקסימלי = 540,000,000 מפתחות (בכל מבני המפתחות). צריך לשמור 30 ביטים (30 ביטים = 1.07 מיליארד שילובים אפשריים)

נפח המרות צפוי

תוכלו להסביר את הנפח הצפוי באמצעות הדוגמאות הבאות לכל מבנה מפתח צבירה:

  • מבנה מפתח 1: (ענף = ביטוח, הוצאה = <50,000, נפח המרות = נמוך)
    • תשובה: כדאי לצפות שמבנה מפתח 1 יכלול הוצאות של מפרסמים בשווי של כ-500,000 דולר ברבעון הבא, במחיר ממוצע של 32 ש"ח לאלף חשיפות. צפה שהפעולה הזו תוביל ל-62,500,000 חשיפות שיהיה צורך לרשום.
    • תוכלו לצפות שהחשיפה הממוצעת לשיעור ההמרות שמבנה מפתח 1 תהווה במהלך הרבעון הבא, תהיה 0.08%, והתוצאה תהיה 50,000 המרות משויכות שצריך לתעד. לכל המרה, מודדים את ערך הרכישה ואת מספר הרכישות.
  • מבנה מפתח 2: (ענף = ביטוח, הוצאה = <50,000, נפח המרות = בינוני)
    • תשובה: ציפו שמפתח 2 יהיה הוצאה בשווי של כ-800,000 דולר ברבעון הבא, במחיר ממוצע של 40 ש"ח לאלף חשיפות. הציפייה היא שהפעולה הזו תוביל ל-80,000,000 חשיפות שיהיה צורך לרשום.
    • צפה שהחשיפה הממוצעת לשיעור ההמרות שמפתח 2 תהווה שיעור המרות ברבעון הבא הוא 0.03125%, וכתוצאה מכך יתקבלו 25,000 המרות משויכות שצריך לתעד. לכל המרה, מודדים את ערך הרכישה ואת מספר הרכישות.
  • חזרו על כל מבנה מפתח

דיווח על מסירה ותדירות קיבוץ (אצווה לכל מפרסם)**

עבור כל מבנה של מפתח צבירה, דוחות ההמרות יישלחו על בסיס קבוע. מומלץ שטכנולוגיות הפרסום יקובצו לפי מפרסם (כדי להפריד בצורה נקייה יותר של נתונים לכל דוח, וכדי לבצע צבירה יעילה יותר) ולהשתמש בשדה shared_info.scheduled_report_time של הדוח לקיבוץ.

  • א: מדי שעה
  • ב: מדי יום
  • ג: מדי שבוע

הערות

  • כדי לקבץ לפי מפרסם, יש לאמת את הסכמי רמת השירות עם המפרסמים.

  • קיבוץ תדיר יותר יכלול 'רעש' גבוה יותר בכל אצווה. (מידע נוסף: החלטה: תדירות אצווה).

  • כדי להימנע משגיאות בגלל קיבוץ שגוי, כדאי לוודא שאצווה נעשה שימוש בשדה scheduled_report_time ולא בשדה report arrival time. לדוגמה, אם מקבצים בכל שעה, האצווה עבור 11:00 צריכה לכלול רק דוחות עם scheduled_report_time בין 10:00 ל-11:00, ולא דוחות שהגיעו בין 10:00 ל-11:00 עם scheduled_report_time שונה (למשל: 9:00).

אומדנים לנפח דוחות

  • מבנה מפתח 1: 50,000 המרות משויכות חלקי 2160 (דיווח שעתי, שעות ברבעון) = 24 דוחות סיכום לשעה לכל מפרסם (24 x 1,000 מפרסמים = 24,000 דוחות סיכום)
  • מבנה מפתח 2: 25,000 המרות משויכות חלקי 2160 (דיווח שעתי, שעות ברבעון) = 12 דוחות סיכום לשעה לכל מפרסם (12,000 מפרסמים = 12,000 דוחות סיכום)
  • מבנה מפתח 3: חזרה
  • המספר הכולל של דוחות סיכום לשעה = 24 דוחות סיכום למבנה מפתח 1 + 12 דוחות סיכום עבור מבנה מפתחות 2 + ... = ... לשעה לכל מפרסם

סיכום משוב

על סמך ההערכות הבאות מטכנולוגיות הפרסום, אנחנו יכולים לתכנן את התכונות והשיפורים כדי לתמוך בקנה המידה שנדרש לטכנולוגיות הפרסום. מומלץ לשתף איתנו את הפרטים הבאים. מידע נוסף זמין בהנחיות שלנו להגדרת גודל של שירות Aggregation ב-AWS:

  • מספר מקסימלי של מפתחות דומיין לקלט (מפתחות לצבירה) בכל משימת שירות צבירה
  • נפח דוחות מקסימלי לכל משימה (המרות משויכות)
  • מספר התרומות המשוער לכל דוח (צמדי מפתחות/ערך בדוח)
  • התפלגות משוערת של המרות משויכות לכל משרה
  • התפלגות משוערת של מפתחות דומיין במשימה
  • מספר משרות משוער לשעה/יום/שבוע