Apache Spark Grundlagen – Architektur, Datenverarbeitung und Praxis

In diesem 3-tägigen Kurs „Apache Spark Grundlagen – Architektur, Datenverarbeitung und Praxis“ lernen Sie, die Architektur von Spark zu verstehen und verteilte Daten effizient zu verarbeiten. Sie lernen den Umgang mit RDDs, DataFrames und Datasets, grundlegende Transformationen und Aktionen sowie die Erstellung und Ausführung einfacher Spark-Anwendungen. Außerdem erwerben Sie erste Kenntnisse in Fehlerbehandlung und Logging, um Spark-Anwendungen zuverlässig zu betreiben.

Zur Schulung Apache Spark Grundlagen – Architektur, Datenverarbeitung und Praxis

Einführung in Big Data und Spark

• Motivation und typische Big-Data-Anwendungsfälle
• Überblick über Spark-Komponenten und Ökosystem

Spark-Architektur, Cluster-Setup und Deployment

• Treiber, Executor, Tasks und Jobs
• Lokaler Betrieb vs. Clusterbetrieb

RDDs, DataFrames, Datasets

• Erstellung und Transformationen von RDDs
• Unterschiede und Einsatzmöglichkeiten von DataFrames und Datasets

Transformationen und Aktionen

• Typische Transformationen (map, filter, join, groupBy)
• Aktionen und deren Ausführung (collect, count, show)

Spark SQL-Grundlagen

• Einfache SQL-Abfragen auf DataFrames
• Erstellung und Nutzung von Views

Fehlerbehandlung und Logging

• Typische Fehlerquellen in Spark-Anwendungen
• Logging und Monitoring einfacher Jobs

Praktische Übungen mit realen Daten

• Aufbau einfacher Spark-Anwendungen