Talend Open Studio - Data Integration

In dieser 2-tägigen Schulung "Talend Open Studio - Data Integration" lernen Sie, wie Sie mit Talend Open Studio auch komplexe Datenintegrationsaufgaben effizient und verständlich bewältigen können.

Talend Open Studio ermöglicht die nahtlose Zusammenarbeit mit einer Vielzahl von Datenquellen, sei es in der Cloud oder im lokalen Netzwerk. Sie werden erfahren, wie Sie von der integrierten Versionsverwaltung profitieren können und wie Sie mit Talend Open Studio den gesamten Aufbau und die täglichen Ladeprozesse für Ihr Data Warehouse darstellen können.

Diese Schulung deckt sowohl ETL- als auch ELT-Ladevorgänge ab. Darüber hinaus werden Sie nach Abschluss des Seminars in der Lage sein, hochparallelisierte Prozessketten zu entwickeln, um die Leistung weiter zu steigern.

Zusätzlich werden Sie lernen, wie Sie wichtige administrative Funktionen wie Logging, den Versand von Statusmeldungen und andere Features zur Erleichterung der Wartung Ihrer ETL-Prozesse anwenden und implementieren können. Zahlreiche Tipps, Tricks und bewährte Verfahren werden vorgestellt, um potenzielle Stolpersteine und Schwächen von Talend Open Studio zu bewältigen.

Zum Seminar: Talend Open Studio

Kurs-Übersicht

• Warum Daten-Integration?
• Was kann Talend?

Setup für den Kurs

• Installation unter Windows, Mac und Linux
• Sprache von Talend Open Studio
• Kurs-Projekt importieren
• Kurs-Dateien runterladen
• Das Kurs-Projekt erkunden
• “Hallo Welt” mit tMsgBox

Lerne die Benutzer-Oberfläche kennen

• Oberfläche kennenlernen
• Nützliche Helfer
• Externe Bibliotheken installieren
• Fehler finden
• Wo ist mein Tab?
• Dein erster ETL Job

Grundlagen der Datei-Verarbeitung

• Dateien lesen
• Dateien schreiben
• Ordner-Inhalte auflisten
• Szenario zur Datei-Verarbeitung

Eigenschaften in Talend verstehen

• BuiltIn vs. Repository
• Schema
• Datentypen
• Verbindungs-Typen
• Ctrl + Leertaste

Relationale Datenbanken verarbeiten

• Deine Datenbank
• Zur Datenbank verbinden
• In die Datenbank schreiben
• Von der Datenbank lesen
• Iteration über Datenbank-Inhalte
• Szenario Datenbank-Verarbeitung

Andere Formate verarbeiten: Cloud, JSON, REST, …

• JSON verarbeiten
• XML verarbeiten
• Google Drive-Zugriff
• REST-Service abfragen
• Datei Downloads
• RSS Feeds lesen

Variablen in Jobs verwenden

• Context-Variablen erzeugen
• Umgebungen für Variablen erstellen
• Datentypen im Context
• Zentraler Context
• Context für Metadaten erstellen
• Context schreiben und laden
• Context implizit laden
• Globale Variablen

Transformations-Komponenten und ihre Verwendung

• Daten filtern
• Daten sortieren
• Aggregation von Daten
• Datentypen konvertieren
• Auftrennung von Daten
• De-Normalisierung
• Einfache Joins
• Sakila installieren
• Mapping mit Join, Filter und Transformation
• Feld-Extraktion: JSON, XML, positional, delimited, Regex
• XML- und JSON-Felder erzeugen
• Beispieldaten generieren
• Daten pivotieren

Datenqualitäts-Komponenten

• Duplikate entfernen
• Intervalle matchen
• Ersetzungen vornehmen
• Schema-Prüfung
• Redundanz-Schlüssel
• Fuzzy Matching

Operationen zum Datei-Management

• Basis-Operationen
• Dateien vergleichen
• Datei-Eigenschaften
• Listings von Dateien
• Komprimieren von Dateien
• Temporäre Dateien

Jobs orchestrieren mit Hierarchien und Subjobs

• Pre- & Post-Job
• MessageBox
• Replizieren und Vereinen
• Datenfluss zu Iteration & umgekehrt
• Schleifen
• Warten und Messen
• Interaktion mit dem Betriebssystem
• Job-Hierarchien
• Sub-Job Trigger
• Komponenten-Trigger
• Bedingte Trigger

Logging-Konfiguration und Komponenten

• Daten debuggen
• Annahmen testen
• Volumen loggen
• Fehler & Warnung loggen
• Ausführung loggen
• Jobs loggen
• Jobs besser loggen
• Projekte loggen

Dokumentation und Best Practices

• Best Practices einsetzen
• Dokumentation erstellen

Job Deployment ohne Talend Open Studio

• Job-Code erzeugen & ausführen
• Parameter ändern

Projekt-Handling

• Projekte anlegen und löschen
• Export und Import
• Projekt-Einstellungen

Anwendungsfälle

• Excel-Dateien erzeugen
• Multi-Schema-XML lesen
• Anhängen an eine Textdatei