Data Pipeline Orchestrierung – Apache Airflow, Cloud Workflows und CI/CD

Moderne Unternehmen verarbeiten täglich große Mengen unterschiedlichster Daten, die aus verschiedenen Systemen zusammengeführt, aufbereitet und für weitere Anwendungen bereitgestellt werden müssen. Damit diese Prozesse zuverlässig, effizient und möglichst automatisiert ablaufen, ist eine professionelle Orchestrierung der Datenpipelines erforderlich. Technologien wie Apache Airflow und cloudbasierte Workflow-Dienste ermöglichen es, komplexe Datenverarbeitungsprozesse zentral zu steuern, zu überwachen und kontinuierlich zu optimieren.

In dieser praxisorientierten Weiterbildung erfahren Sie, wie Sie automatisierte Datenpipelines entwickeln, unterschiedliche Verarbeitungsschritte miteinander verknüpfen und wiederkehrende Arbeitsabläufe effizient organisieren. Sie lernen die grundlegenden Funktionen und Einsatzmöglichkeiten von Apache Airflow kennen und beschäftigen sich mit der Erstellung sogenannter Directed Acyclic Graphs (DAGs), mit denen sich Aufgaben, Abhängigkeiten und Ausführungszeiten innerhalb eines Workflows definieren lassen.

Darüber hinaus erhalten Sie einen Einblick in weitere Orchestrierungslösungen wie Apache Oozie sowie in cloudbasierte Dienste wie AWS Glue, Azure Data Factory und Databricks Jobs. Sie lernen, wie sich diese Technologien in moderne Datenarchitekturen integrieren lassen und welche Möglichkeiten sie für die automatisierte Verarbeitung und Bereitstellung von Daten bieten.

Ein weiterer Schwerpunkt liegt auf dem Einsatz von Continuous Integration und Continuous Delivery (CI/CD). Sie erfahren, wie sich Änderungen an Datenpipelines strukturiert testen, versionieren und automatisiert bereitstellen lassen. Ergänzend beschäftigen Sie sich mit Monitoring, Fehlerbehandlung und der Optimierung bestehender Workflows.

Praxisnahe Übungen unterstützen Sie dabei, das erworbene Wissen unmittelbar anzuwenden. Nach Abschluss des Kurses sind Sie in der Lage, automatisierte Datenworkflows zu konzipieren, grundlegende Orchestrierungsprozesse umzusetzen und Datenpipelines zuverlässig in bestehende IT- und Cloud-Umgebungen einzubinden.