Datenintegration mit Cloud Data Fusion
Dieser zweitägige Kurs führt die Teilnehmer in die Datenintegrationsfunktionen von Google Cloud mithilfe von Cloud Data Fusion ein. In diesem Kurs besprechen wir die Herausforderungen der Datenintegration und die Notwendigkeit einer Datenintegrationsplattform (Middleware). Anschließend erörtern wir, wie Cloud Data Fusion dabei helfen kann, Daten aus verschiedenen Quellen und Formaten effektiv zu integrieren und Erkenntnisse zu gewinnen. Wir werfen einen Blick auf die Hauptkomponenten von Cloud Data Fusion und deren Funktionsweise, wie man Batch-Daten und Echtzeit-Streaming-Daten mit visuellem Pipeline-Design, umfassender Nachverfolgung von Metadaten und Datenherkunft verarbeitet und wie man Datenpipelines auf verschiedenen Ausführungs-Engines bereitstellt.
- Dauer: 2 Tage
- Sprachen: Englisch, Deutsch
- Niveau: Fortgeschritten
- Gruppengröße: Bis zu 16
Das lernen Sie
- Den Bedarf an Datenintegration identifizieren.
- Die Funktionen von Cloud Data Fusion als Datenintegrationsplattform verstehen.
- Anwendungsfälle für eine mögliche Implementierung mit Cloud Data Fusion identifizieren.
- Die Kernkomponenten von Cloud Data Fusion auflisten.
- Batch- und Echtzeit-Datenverarbeitungs-Pipelines entwerfen und ausführen.
- Mit Wrangler arbeiten, um Datentransformationen zu erstellen.
- Konnektoren verwenden, um Daten aus verschiedenen Quellen und Formaten zu integrieren.
- Ausführungsumgebung konfigurieren; Überwachung und Fehlerbehebung bei der Pipeline-Ausführung.
- Die Beziehung zwischen Metadaten und Datenherkunft verstehen.
Voraussetzungen
- Den Teilnehmern wird empfohlen, „Einführung in das Data Engineering“ abgeschlossen zu haben.
Kursinhalt
Einführung
- Kurseinführung
Einführung in Datenintegration und Cloud Data Fusion
- Datenintegration: Was, warum, Herausforderungen
- In der Branche verwendete Datenintegrationstools
- Benutzerprofile
- Einführung in Cloud Data Fusion
- Kritische Funktionen der Datenintegration
- Cloud Data Fusion Benutzeroberflächenkomponenten
Pipelines erstellen
- Cloud Data Fusion Architektur
- Kernkonzepte
- Datenpipelines und gerichtete azyklische Graphen (DAG)
- Lebenszyklus der Pipeline
- Entwerfen von Pipelines in Pipeline Studio
Komplexe Pipelines entwerfen
- Verzweigen, Zusammenführen und Verbinden
- Aktionen und Benachrichtigungen
- Fehlerbehandlung und Makros
- Pipeline-Konfigurationen, Planung, Import und Export
Ausführungsumgebung der Pipeline
- Zeitpläne und Trigger
- Ausführungsumgebung: Rechenprofil und Bereitsteller
- Pipelines überwachen
Transformationen erstellen und Daten mit Wrangler vorbereiten
- Wrangler-Anweisungen
- Benutzerdefinierte Anweisungen
Konnektoren und Streaming-Pipelines
- Die Datenintegrationsarchitektur verstehen
- Verschiedene Konnektoren auflisten
- Die Cloud Data Loss Prevention (DLP) API verwenden
- Die Referenzarchitektur von Streaming-Pipelines verstehen
- Eine Streaming-Pipeline erstellen und ausführen
Metadaten und Datenherkunft
- Metadaten
- Datenherkunft
Zusammenfassung
- Kurszusammenfassung
Passende Kurse
AlloyDB Grundlagen
Dieser Kurs beleuchtet die Vorteile von AlloyDB, insbesondere im Vergleich zu PostgreSQL in Cloud SQL. Er führt Sie durch die Architektur von AlloyDB und erklärt, wie Sie Deployments in Google Cloud konfigurieren.Der Kurs ist in zwei Teile gegliedert: AlloyDB Administration Essentials (Architektur und Konfiguration) und AlloyDB Optimization Essentials (Leistungsoptimierung).
BigQuery für Data Analysts
Dieser Kurs richtet sich an Datenanalysten, die lernen möchten, wie sie BigQuery für ihre Analyseanforderungen nutzen können. Durch eine Kombination aus Präsentationen, Übungen und Demos behandeln wir verschiedene Themen, die erörtern, wie Sie Ihre Daten in BigQuery erfassen, transformieren und abfragen können, um Erkenntnisse zu gewinnen, die bei Geschäftsentscheidungen hilfreich sein können.
Data Engineering in der Google Cloud
Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Entwicklung von Datenverarbeitungssystemen in Google Cloud. Dieser Kurs vermittelt Ihnen anhand von Präsentationen, Demos und praktischen Übungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs behandelt strukturierte, unstrukturierte und Streaming-Daten.
Unsicher, welcher Kurs passt?
Buchen Sie ein 30-minütiges Gespräch. Wir schauen uns an, wo Ihr Team steht und was es können muss — und stellen daraus einen konkreten Kurstermin oder einen passenden Lernplan zusammen.