Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD

In dieser 2-tägigen Schulung "Data Pipeline Orchestrierung: Airflow, Cloud Workflows & CI/CD" lernen Sie, Workflows für Datenpipelines professionell zu orchestrieren und automatisierte Batch- sowie Streaming-Pipelines mit Apache Airflow, Oozie und Cloud-Services aufzubauen. Sie verstehen DAG-Design, Task Dependencies, Scheduling, Fehlerbehandlung und Monitoring sowie die Integration mit Spark, Data Lakes und CI/CD-Pipelines. Nach dem Kurs können Sie produktionsreife Workflow-Orchestrierungen implementieren inklusive Cloud-Integration (AWS Glue, Azure Data Factory, Databricks Jobs) und automatisierter Pipeline-Betriebsprozesse.

Workflow Orchestrierung Grundlagen

• Prinzipien von Workflow Orchestration
• Batch & Streaming Integration
• Scheduling & Triggering
• Fehlerbehandlung

Apache Airflow

• DAG-Design & Operators
• Task Dependencies & Branching
• Monitoring & Alerting
• Integration mit Spark, Kubernetes,Cloud Services

Apache Oozie

• Workflow Design & Coordinator
• Scheduler & Workflow Management
• Best Practices & häufige Fallstricke

Cloud Workflow Management

• AWS Glue, ADF, Databricks Jobs
• Automation & CI/CD
• Monitoring & Logging

Praxisübungen

• Aufbau eines orchestrierten Workflows
• Automatisierte Batch & Streaming Pipelines
• Testfälle & Debugging