โปรเจ็กต์ Apache Airflow

หน้านี้มีรายละเอียดโครงการงานเขียนเชิงเทคนิคที่ได้รับการยอมรับใน Google Season of เอกสาร

สรุปโปรเจ็กต์

องค์กรโอเพนซอร์ส:

Apache Airflow

นักเขียนเชิงเทคนิค

kartik khare

ชื่อโปรเจ็กต์:

วิธีสร้างเวิร์กโฟลว์

ระยะเวลาของโปรเจ็กต์

ระยะเวลามาตรฐาน (3 เดือน)

คำอธิบายโปรเจ็กต์

เราจะจัดทำเอกสารประกอบเกี่ยวกับวิธีสร้างเวิร์กโฟลว์ใหม่อย่างง่ายดายและมีประสิทธิภาพ ขั้นตอนบางอย่างที่เกี่ยวข้องกับเวิร์กโฟลว์มีดังนี้

1. อ่าน
2. การเตรียมข้อมูล
3. กำลังประมวลผล
4. หลังการประมวลผล
5. บันทึก/ดำเนินการ
6. การตรวจสอบ

แต่ละขั้นตอนอาจมีงานหลายรายการและสามารถดําเนินการหลายอย่างหลังจากแต่ละขั้นตอน เช่น ยกเลิกงานหากงานอย่างน้อย 2 รายการในขั้นตอนหนึ่งไม่สําเร็จ หรือเรียกใช้งานอีกครั้งหากไม่สําเร็จอย่างน้อย 2 ครั้ง

ส่วนอื่นๆ ของเวิร์กโฟลว์ ได้แก่ การดำเนินการงานอย่างน้อย 2 งานพร้อมกัน จากนั้นใช้ผลลัพธ์ที่รวมกันสำหรับระยะถัดไป

อีกแง่มุมหนึ่งของเวิร์กโฟลว์คือการแจ้งเตือนผู้ใช้ในกรณีที่เกิดข้อผิดพลาดผ่านอีเมล สแลค หรือหน้าที่ต้องส่งข้อความแจ้ง

นอกจากนี้ เรายังวางแผนที่จะรวมวิธีการใช้งานเวิร์กโฟลว์ที่ไม่ค่อยมีใครทราบ เช่น เรียกใช้งานสตรีมมิงแบบเรียลไทม์เมื่อมีการรีสตาร์ทงานในกรณีที่ข้อมูลขาดหายไปในหัวข้อ Kafka ดาวน์สตรีม

เราจะทำงานร่วมกับที่ปรึกษาเพื่อปรับขอบเขตของโปรเจ็กต์ให้ละเอียดยิ่งขึ้น จากนั้นจึงทำตามงานต่อ

เราหวังว่าจะได้ร่วมงานกับคุณในอีกไม่กี่เดือนข้างหน้า