Lakehouse Storage: ACID-Transaktionen & Table Formats

In dieser 3-tägigen Schulung "Lakehouse Storage: ACID-Transaktionen & Table Formats" lernen Sie, moderne Lakehouse-Architekturen mit ACID-Transaktionen auf Data Lakes aufzubauen und produktionsreife Storage-Lösungen mit Parquet/ORC, Spark und Trino zu implementieren. Sie verstehen Schema Evolution, Time Travel, Performance-Tuning und Governance für Batch-/Streaming-Workloads sowie die direkte Integration in BI/ML-Pipelines. Nach dem Kurs können Sie skalierbare Lakehouse-Plattformen betreiben, Kosten optimieren und Multi-Cloud-Migrationen umsetzen

Lakehouse-Motivation: ACID auf Data Lakes

• Warum Lakehouse? Data Lake Schwächen beheben
• ACID-Transaktionen auf Object Storage
• Schema Evolution & Time Travel Features

Moderne Storage-Formate

• Parquet, ORC, Avro: Technische Details
• Spaltenformate vs. Row-Storage
• Kompression & Predicate Pushdown

Cloud Object Storage als Lakehouse-Fundament

• S3, ADLS Gen2, GCS: Architektur & Features
• Lifecycle Policies & Intelligent Tiering
• Kostenmodelle & Partitionierungsstrategien​

Batch- & Streaming-Zugriffe

• Spark SQL & Spark Structured Streaming
• Trino/Presto: Federated Lakehouse Queries
• Delta Lake/Iceberg: Table Formats

Schema-on-Read vs. Schema-on-Write

• Schema Evolution & Enforcement
• Liquibase/dbT für Lakehouse Governance
• Data Quality & Schema Validation

BI/ML-Anbindung

• Direct Lake Queries (Power BI, Superset)
• Vector Search Foundations (ChromaDB)
• Feature Store Integration​

Governance & Security

• Fine-grained Access Control (Ranger, Sentry)
• Metadata Management & Data Lineage
• Compliance & Auditing Best Practices

Performance-Tuning

• Z-Order Indexing & Data Skipping
• Compaction & Optimize Strategien
• Caching & Predicate Pushdown

Monitoring, Kostenkontrolle, Migration

• Lakehouse Observability (Prometheus/Grafana)
• Multi-Cloud Cost Optimization
• Legacy Data Lake → Lakehouse Migration