התיקייה הכללית של הפידים מאפשרת להעלות כמה סוגי פידים לתיקייה אחת לכל סביבה. במדריך הזה מוסבר איך משתמשים בתיקייה הכללית במצב גנרי ונספק קישורים למדריך המתאים עבור הפיד שבו אתם מתכננים להשתמש.
(אפשר לעיין בקטע ייצוא פידים (קצה לקצה) או בקטע פידים (התחלה) במסמכי התיעוד).התיקייה הכללית תלויה בכך שיש שתי העלאות נפרדות:
- קובץ מתאר: סוג הפיד שמעלים
- קובצי הפיד: התוכן של הפיד בפועל
הגדרת המבנה של שדה התיאור
קובץ התיאור הזה הועלה כדי ליידע את המערכת שלנו לגבי סוג הפיד שבחרת להעלות. כך נוכל לאמת את הפיד ולעבד אותו כראוי. יש להעלות את קובץ התיאור לפני תוכן הפיד ולעמוד בדרישות הבאות למתן שמות:
- שימוש בסיומת הקובץ .filesetdesc.json
- כל שם של קובץ מתאר צריך להיות ייחודי ואי אפשר להשתמש בו שוב בהעלאות שונות. מומלץ
לכלול את חותמת הזמן של היצירה בשם הקובץ.
- דוגמה: offers_1524606581.filesetdesc.json
message FilesetDescriptor {
// The timestamp at which this feed was generated, in Unix time format
// (seconds since the epoch). (required)
int64 generation_timestamp = 1;
// Identifies the name of this feed. (required)
string name = 2;
// Paths (relative to the dropbox root) specifying data files included in this
// feed. (required)
repeated string data_file = 3;
}
ערכים אפשריים לשדה name כוללים:
למטה אפשר לראות דוגמה לקובץ מתאר של פיד מבצעים עם שני פיצולים:
{
"generation_timestamp": 1524606581,
"name": "promote.offer",
"data_file": [
"offers_1524606581_1.json",
"offers_1524606581_2.json"
]
}
הגדרת המבנה של תוכן הפיד
אחרי שמעלים את קובץ המתאר, יש להעלות את כל קובצי הפיד לסוג של קובץ הפיד שתואם לקובץ תצורת הפיד שרשום בשם של קובץ התיאור. שמות הקבצים ומיקומי הנתיבים (יחסיים בתוך התיקייה בענן) חייבים להיות זהים לשמות שנכללו בשדה data_file. אם קובץ כלשהו חסר, השם שלו שגוי או שהוא הועלה למיקום אחר, לא יתבצע עיבוד של הפיד כולו.
התוכן של קובצי הנתונים האלה צריך לעמוד במפרט הרלוונטי של הפיד שצוין בקובץ המתאר.
כל שם קובץ של קובץ פיד חייב להיות ייחודי ולא ניתן להשתמש בו שוב בהעלאות שונות. מומלץ לכלול את חותמת הזמן של היצירה ואת מספר הפיצול (מזהה מצטבר) בשם הקובץ.
- דוגמה: offers_1524606581_1.json
גודלי קבצים של פידים ותדירות ההעלאה
- יש לוודא שגודל קובץ הפיד קטן מ-200MB (לאחר דחיסת הנתונים).
- ברוב השילובים יהיה צורך בפיצול אחד בלבד. מומלץ להשתמש בכמה פיצולים שאפשר. אפשר ליצור עד 1,000 פיצולים לכל פיד.
- אין צורך לשלוח רשומות בודדות בפיצול אחד באותו מספר של פיצול בפידים עתידיים.
- לביצועים טובים יותר, יש לפצל את הנתונים באופן שווה בין הפיצולים כדי שגודלם של כל קובצי הפיצול יהיה דומה.
- אם צריך, משתמשים ב-gzip כדי לדחוס פידים. עם זאת, צריך לעשות זאת עבור כל פיצול פיד.
פתרון בעיות וניפוי באגים
אחרי שמעלים את הקבצים (מתארים וקובצי פיד) יש להיכנס אל מרכז הבקרה של היסטוריית הפידים (התיעוד) בפורטל לשותפים (עוברים אל היסטוריה > פידים) כדי לעקוב אחר ההתקדמות של הטמעת הנתונים של הפיד.
מחפשים את name בקובץ הקלט בעמודה "שם הפיד" כדי למצוא את הפיד.
אחרי שמטמיעים את הפיד (הסטטוס הוא Success או Fail), אפשר ללחוץ על השורה שלו כדי להציג את פרטי השגיאות והאזהרות.