이 페이지에는 Google Season of Docs에서 수락된 기술 작문 프로젝트의 세부정보가 포함되어 있습니다.
프로젝트 요약
- 오픈소스 조직:
- Apache Airflow
- 테크니컬 라이터:
- 카르티크 카레
- 프로젝트 이름:
- 워크플로를 만드는 방법
- 프로젝트 기간:
- 표준 기간 (3개월)
Project description
저는 새로운 워크플로를 쉽고 효과적으로 만드는 방법에 관한 문서를 작성하겠습니다. 워크플로에는 다음과 같은 몇 가지 단계가 있습니다.
- 읽기
- 전처리
- 처리
- 후처리 중
- 저장/작업
- 모니터링
각 단계에는 여러 태스크가 포함될 수 있으며, 각 단계 후 2개 이상의 태스크가 실패하면 작업을 취소하거나 2회 이상 실패하면 태스크를 다시 실행하는 등 다양한 작업을 수행할 수 있습니다.
워크플로의 다른 부분으로는 2개 이상의 작업을 병렬로 실행한 후 결합된 결과를 다음 단계에서 활용하는 것도 있습니다.
워크플로의 또 다른 측면은 우편, 슬랙 또는 호출기 업무를 통해 문제가 발생할 경우 사용자에게 알리는 것입니다.
또한 다운스트림 Kafka 주제에서 누락된 데이터에 대해 워크플로를 다시 시작할 때 실시간 스트리밍 작업을 실행하는 등 워크플로를 사용할 수 있는 간단한 방법을 포함할 계획입니다.
저는 멘토들과 함께 프로젝트 범위를 훨씬 정교하게 다듬고 거기서부터 작업을 완료할 것입니다.
앞으로 몇 달간의 활약이 기대됩니다.