פרויקט Apache Airflow
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
בדף הזה מפורטים פרטי פרויקט של כתיבה טכנית שאושר להשתתפות בתוכנית Google Season of Docs.
סיכום הפרויקט
- ארגון קוד פתוח:
- Apache Airflow
- כותבים טכניים:
- קרטיק קארה
- שם הפרויקט:
- איך יוצרים תהליך עבודה
- אורך הפרויקט:
- אורך סטנדרטי (3 חודשים)
תיאור הפרויקט
אעבוד על יצירת מסמך עזרה בנושא יצירת תהליכי עבודה חדשים בקלות וביעילות.
יש כמה שלבים בתהליכי עבודה שכוללים:
- קריאה
- עיבוד מקדים
- בעיבוד
- עיבוד תמונה (Post Processing)
- שמירה/פעולה
- מעקב
כל שלב יכול לכלול כמה משימות, ואפשר לבצע מגוון פעולות אחרי כל שלב, למשל ביטול המשימה אם 2 משימות או יותר נכשלו בשלב מסוים, או הפעלה מחדש של משימה אם היא נכשלה לפחות פעמיים.
חלק אחר של תהליכי העבודה כולל ביצוע של 2 משימות או יותר במקביל, ולאחר מכן שימוש בתוצאה המשולבת שלהן בשלב הבא.
היבט נוסף של תהליך עבודה הוא להתריע למשתמש במקרה שמשהו משתבש, באמצעות אימייל, Slack או שירותי טלפוניה ניידת.
אני גם מתכנן לכלול כמה דרכים לא טריוויות שבהן ניתן להשתמש בתהליכי עבודה, כמו הרצת משימות סטרימינג בזמן אמת והפעלה שלהן מחדש לגבי נתונים חסרים בנושאים של קפקא במורד הזרם.
אני אעבוד עם החונכים כדי לשפר את היקף הפרויקט, ואז אשלים את המשימות לאחר מכן.
אני מחכה לחודשים הקרובים.
אלא אם צוין אחרת, התוכן של דף זה הוא ברישיון Creative Commons Attribution 4.0. לפרטים, ניתן לעיין במדיניות האתר Google Developers. Java הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.
עדכון אחרון: 2024-11-08 (שעון UTC).
[[["התוכן קל להבנה","easyToUnderstand","thumb-up"],["התוכן עזר לי לפתור בעיה","solvedMyProblem","thumb-up"],["סיבה אחרת","otherUp","thumb-up"]],[["חסרים לי מידע או פרטים","missingTheInformationINeed","thumb-down"],["התוכן מורכב מדי או עם יותר מדי שלבים","tooComplicatedTooManySteps","thumb-down"],["התוכן לא עדכני","outOfDate","thumb-down"],["בעיה בתרגום","translationIssue","thumb-down"],["בעיה בדוגמאות/בקוד","samplesCodeIssue","thumb-down"],["סיבה אחרת","otherDown","thumb-down"]],["עדכון אחרון: 2024-11-08 (שעון UTC)."],[[["This Google Season of Docs project focuses on creating documentation for Apache Airflow, specifically on how to easily and effectively create new workflows."],["The documentation will cover the steps involved in a workflow, including reading, preprocessing, processing, postprocessing, saving/action, and monitoring, as well as handling task failures and parallel job execution."],["The project aims to provide guidance on using workflows for various scenarios, including real-time streaming jobs and restarting workflows based on missing data, and incorporating alerting mechanisms."],["The project scope will be refined in collaboration with mentors throughout its three-month duration."]]],["The project focuses on documenting the creation of new workflows for Apache Airflow. Key steps in workflows include reading, pre-processing, processing, post-processing, saving/action, and monitoring, each potentially involving multiple tasks. Workflows can handle task failures, parallel job execution, and combined result utilization. Alerting users via mail, Slack, or PagerDuty in case of errors is also part of workflows. The project will also include workflows for running real-time streaming jobs and restarting them on missing data.\n"]]
