Apache Airflow-Projekt

Diese Seite enthält die Details eines Projekts für technisches Schreiben, das für die Google-Staffel von Google Docs akzeptiert wurde.

Projektzusammenfassung

Open-Source-Organisation:
Apache Airflow
Technischer Redakteur:
Kartik Khare
Projektname:
Workflow erstellen
Projektdauer:
Standarddauer (3 Monate)

Projektbeschreibung

Ich werde daran arbeiten, die Dokumentation zum einfachen und effektiven Erstellen neuer Workflows zu erstellen. Es gibt einige Schritte im Rahmen von Workflows:

  1. Lesen
  2. Vorverarbeitung
  3. Wird verarbeitet
  4. Nachbearbeitung
  5. Speichern/Aktion
  6. Monitoring

Jeder Schritt kann mehrere Aufgaben umfassen und nach jedem Schritt können zahlreiche Aktionen ausgeführt werden. Beispielsweise kann der Job abgebrochen werden, wenn zwei oder mehr Aufgaben in einer Phase fehlschlagen, oder eine Aufgabe noch einmal ausführen, wenn sie mindestens zweimal fehlgeschlagen ist.

Ein weiterer Teil der Workflows besteht darin, zwei oder mehr Jobs parallel auszuführen und dann das kombinierte Ergebnis für die nächste Phase zu verwenden.

Ein weiterer Aspekt eines Workflows besteht darin, den Nutzer zu warnen, falls etwas schief gehen sollte, entweder per Post oder im Slack- oder Pager-Dienst.

Ich habe vor, auch einige nicht so einfache Möglichkeiten einzubeziehen, wie Workflows verwendet werden können, z. B. das Ausführen von Echtzeit-Streamingjobs beim Neustart von fehlenden Daten in nachgelagerten Kafka-Themen.

Ich werde mit Mentoren zusammenarbeiten, um den Umfang des Projekts zu optimieren, und dann die Aufgaben erledigen.

Wir freuen uns auf die nächsten Monate.