Проект Apache Airflow
Оптимизируйте свои подборки
Сохраняйте и классифицируйте контент в соответствии со своими настройками.
На этой странице содержится подробная информация о проекте технического написания, принятом для участия в Google Season of Docs.
Краткое описание проекта
- Организация с открытым исходным кодом:
- Апач воздушный поток
- Технический писатель:
- Картик Харе
- Название проекта:
- Как создать рабочий процесс
- Длина проекта:
- Стандартная продолжительность (3 месяца)
Описание проекта
Я буду работать над созданием документации о том, как легко и эффективно создавать новые рабочие процессы. В рабочие процессы входят некоторые этапы:
- Читать
- Предварительная обработка
- Обработка
- Постобработка
- Сохранить/Действие
- Мониторинг
Каждый шаг может включать в себя несколько задач, и после каждого шага может быть предпринято множество действий, например, прерывание задания, если на этапе происходит сбой 2 или более задач, или повторный запуск задачи, если она завершается сбоем как минимум 2 раза.
Другая часть рабочих процессов включает параллельное выполнение двух или более заданий с последующим использованием их совокупного результата для следующего этапа.
Еще одним аспектом рабочего процесса является предупреждение пользователя в случае, если что-то пойдет не так, либо через почту, либо через резервную систему, либо через пейджер.
Я также планирую включить некоторые нетривиальные способы использования рабочих процессов, например запуск заданий потоковой передачи в реальном времени при их перезапуске для любых недостающих данных в последующих темах Kafka.
Я буду работать с наставниками, чтобы сделать рамки проекта более уточненными, а затем выполнять поставленные задачи.
С нетерпением жду удивительных нескольких месяцев вперед.
Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons "С указанием авторства 4.0". Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.
Последнее обновление: 2024-11-19 UTC.
[[["Прост для понимания","easyToUnderstand","thumb-up"],["Помог мне решить мою проблему","solvedMyProblem","thumb-up"],["Другое","otherUp","thumb-up"]],[["Отсутствует нужная мне информация","missingTheInformationINeed","thumb-down"],["Слишком сложен/слишком много шагов","tooComplicatedTooManySteps","thumb-down"],["Устарел","outOfDate","thumb-down"],["Проблема с переводом текста","translationIssue","thumb-down"],["Проблемы образцов/кода","samplesCodeIssue","thumb-down"],["Другое","otherDown","thumb-down"]],["Последнее обновление: 2024-11-19 UTC."],[[["This Google Season of Docs project focuses on creating documentation for Apache Airflow, specifically on how to easily and effectively create new workflows."],["The documentation will cover the steps involved in a workflow, including reading, preprocessing, processing, postprocessing, saving/action, and monitoring, as well as handling task failures and parallel job execution."],["The project aims to provide guidance on using workflows for various scenarios, including real-time streaming jobs and restarting workflows based on missing data, and incorporating alerting mechanisms."],["The project scope will be refined in collaboration with mentors throughout its three-month duration."]]],["The project focuses on documenting the creation of new workflows for Apache Airflow. Key steps in workflows include reading, pre-processing, processing, post-processing, saving/action, and monitoring, each potentially involving multiple tasks. Workflows can handle task failures, parallel job execution, and combined result utilization. Alerting users via mail, Slack, or PagerDuty in case of errors is also part of workflows. The project will also include workflows for running real-time streaming jobs and restarting them on missing data.\n"]]
