Apache Airflow 專案

本頁面包含 Google 技術文件季度接受的技術寫作專案詳細資料。

專案摘要

開放原始碼組織：

Apache Airflow

技術文件撰稿者：

kartik khare

專案名稱：

如何建立工作流程

專案長度：

標準長度 (3 個月)

Project description

我會著手編寫說明文件，說明如何輕鬆有效地建立新工作流程。工作流程包含以下步驟：

1. 讀取
2. 預先處理
3. 處理中
4. 後續處理中
5. 儲存/動作
6. 監控

每個步驟可能涉及多項工作，您可以在每個步驟後採取多項動作。舉例來說，如果有 2 項以上的工作在階段中失敗，則需要取消工作，或者在工作失敗至少 2 次時，重新執行工作。

工作流程的其他部分包括同時執行 2 項以上的作業，然後在下一個階段使用合併後的結果。

工作流程的另一個層面，是透過電子郵件、Slack 或 PagerDuty 通知使用者發生任何錯誤。

我也打算納入一些不簡單的使用工作流程方式，例如在下游 Kafka 主題中，針對任何缺少的資料重新啟動即時串流工作。

我會與導師合作，進一步明確界定專案範圍，然後完成相關工作。

期待接下來幾個月的驚奇體驗。