Projet Apache Airflow
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cette page contient les détails d'un projet de rédaction technique accepté pour la Google Season of Docs.
Résumé du projet
- Organisation Open Source:
- Apache Airflow
- Rédacteur technique:
- kartik khare
- Nom du projet:
- Créer un workflow
- Durée du projet:
- Durée standard (trois mois)
Project description
Je vais créer une documentation expliquant comment créer des workflows facilement et efficacement.
Voici quelques-unes des étapes impliquées dans les workflows :
- Lire
- Prétraitement
- Traitement
- Post-traitement
- Enregistrer/Action
- Surveillance
Chaque étape peut impliquer plusieurs tâches et une multitude d'actions peuvent être effectuées après chaque étape, comme l'annulation de la tâche si deux tâches ou plus échouent au cours d'une étape, ou la réexécution d'une tâche si elle échoue pendant au moins deux fois.
Une autre partie des workflows consiste à exécuter deux tâches ou plus en parallèle, puis à utiliser leur résultat combiné pour l'étape suivante.
Un autre aspect d'un workflow consiste à alerter l'utilisateur en cas de problème, par e-mail, par Slack ou par bip.
Je prévois également d'inclure des méthodes non triviales d'utilisation des workflows, par exemple pour exécuter des tâches de streaming en temps réel lors de leur redémarrage en cas de données manquantes dans les sujets Kafka en aval.
Je vais travailler avec des mentors pour affiner le champ d'application du projet, puis m'atteler aux tâches.
J'ai hâte de découvrir les mois à venir.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/07/25 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Il n'y a pas l'information dont j'ai besoin","missingTheInformationINeed","thumb-down"],["Trop compliqué/Trop d'étapes","tooComplicatedTooManySteps","thumb-down"],["Obsolète","outOfDate","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Mauvais exemple/Erreur de code","samplesCodeIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/07/25 (UTC)."],[],["The project focuses on documenting the creation of new workflows for Apache Airflow. Key steps in workflows include reading, pre-processing, processing, post-processing, saving/action, and monitoring, each potentially involving multiple tasks. Workflows can handle task failures, parallel job execution, and combined result utilization. Alerting users via mail, Slack, or PagerDuty in case of errors is also part of workflows. The project will also include workflows for running real-time streaming jobs and restarting them on missing data.\n"]]
