Big Data Grundlagen & Trends – Einstieg in moderne Dateninfrastruktur

In dieser 2-tägigen Schulung "Big Data Grundlagen & Trends – Einstieg in moderne Dateninfrastruktur" erhalten Sie einen umfassenden Überblick über die Grundlagen, Technologien und aktuellen Trends im Bereich Big Data. Sie lernen, wie moderne Dateninfrastrukturen aufgebaut sind, welche Herausforderungen bei der Verarbeitung großer Datenmengen entstehen und wie Sie diese mit bewährten Lösungen meistern können. Der Fokus liegt auf der praktischen Anwendung von Cloud-basierten Storage-Lösungen, Data Lakes, NoSQL-Datenbanken und Lakehouse-Architekturen. Sie erfahren, wie Sie skalierbare, kosteneffiziente und sichere Dateninfrastrukturen aufbauen und in Ihren Projekten einsetzen. Durch praxisnahe Übungen und reale Use Cases entwickeln Sie ein tiefes Verständnis für die Integration und Optimierung moderner Datenplattformen. Am Ende der Schulung sind Sie in der Lage,

• die wichtigsten Big-Data-Konzepte, Technologien und Markttrends zu verstehen und einzuordnen,
• die Unterschiede zwischen strukturierten, semi-strukturierten und unstrukturierten Daten zu erkennen und deren Herausforderungen zu bewältigen,
• Cloud-Storage-Lösungen, Data Lakes und NoSQL-Datenbanken gezielt auszuwählen und zu kombinieren,
• Lakehouse-Architekturen mit Delta Lake, Spark und Databricks zu nutzen und zu optimieren,
• Sicherheits- und Governance-Anforderungen in Ihren Datenprojekten umzusetzen,
• sowie Best Practices für Skalierbarkeit, Kostenoptimierung und Performance in Ihrer Dateninfrastruktur anzuwenden.

Einführung in moderne Big Data Konzepte

• Definitionen, Trends, aktuelle Markttechnologien
• Unterschiede strukturierte, semi-strukturierte, unstrukturierte Daten
• Herausforderungen großer Datenmengen
• Business Use Cases

Dateninfrastruktur im Überblick

• On-Prem vs. Cloud Storage Patterns
• Cluster- und Storage-Architekturen heute
• Storage-Typen: Object Storage, Cloud Data Lakes, NoSQL
• Skalierbarkeit, Kostenoptimierung

Cloud Data Lakes

• Prinzipien, Architektur & Storage Patterns
• Trennung Storage & Compute
• Integration mit Streaming- und Batch-Pipelines
• Data Lakehouse Konzepte

NoSQL & Polyglot Persistence

• Aktuelle NoSQL-Technologien: MongoDB, Cassandra, HBase
• Einsatz in Cloud-Architekturen
• Kombination mit SQL/Delta Lake
• Performance & Skalierung

Delta Lake & Lakehouse Architektur

• ACID-Transaktionen, Time Travel
• Integration in Spark, Databricks & Snowflake
• Partitionierung, Versionierung, Optimierung
• Multi-Cloud Patterns

Governance & Sicherheit

• Datenzugriff, Rollen, Berechtigungen
• Data Quality Monitoring
• Compliance & Security in Cloud-Architekturen
• Best Practices

Praxis & Use Cases

• Aufbau eines Mini-Lakehouse
• Cloud Storage & NoSQL Integration
• Analyse von Performance-Szenarien
• Diskussionsrunde Best Practices