Workflow-Orchestrierung mit Cloud Composer
Cloud Composer ist ein vollständig verwalteter Dienst zur Workflow-Orchestrierung, der auf Apache Airflow basiert. Composer ermöglicht Ihnen das Erstellen, Planen, Überwachen und Verwalten von Workflow-Pipelines, die sich über Clouds und lokale Rechenzentren erstrecken. In diesem Kurs lernen Sie Apache Airflow und seine Implementierung über Cloud Composer kennen. Sie lernen, wie Sie Composer-Instanzen bereitstellen, Airflow-DAGs auf Composer erstellen und verwalten und Aufgaben wie das Testen, Debuggen und Überwachen von Airflow-DAGs ausführen.
- Dauer: 1 Tag
- Sprachen: Englisch, Deutsch
- Niveau: Fortgeschritten
- Gruppengröße: Bis zu 16
Das lernen Sie
- Apache Airflow und Cloud Composer als Workflow-Orchestrierungslösungen kennenlernen.
- Airflow-DAGs nach Best Practices erstellen und verwalten.
- Airflow-DAGs testen und debuggen.
- Airflow-DAGs auf Cloud Composer überwachen und beobachten.
Voraussetzungen
- Abschluss von „Building Batch Data Pipelines on Google Cloud“ oder gleichwertige Kenntnisse in Datenanalyse und -engineering auf Google Cloud.
Kursinhalt
Einführung in Cloud Composer
- Der Bedarf eines Data Engineers an Workflow-Orchestrierung
- Einführung in Apache Airflow
- Cloud Composer
- Umgebungseinrichtung
- Verwendung von Composer und Airflow
Erstellen und Verwalten von DAGs
- DAG-Struktur und Best Practices
- Häufige Operatoren
- Abhängigkeiten, Trigger-Regeln und Ablaufsteuerung
- Integration von Airflow und Google Cloud Services
Fortgeschrittene Airflow-Techniken und Best Practices
- Erweiterte Airflow-Funktionen
- Debugging von DAGs
- Leistung und Skalierbarkeit
- Sicherheit und Zugriffskontrolle
- Beobachtbarkeit und Überwachung
Passende Kurse
AlloyDB Grundlagen
Dieser Kurs beleuchtet die Vorteile von AlloyDB, insbesondere im Vergleich zu PostgreSQL in Cloud SQL. Er führt Sie durch die Architektur von AlloyDB und erklärt, wie Sie Deployments in Google Cloud konfigurieren.Der Kurs ist in zwei Teile gegliedert: AlloyDB Administration Essentials (Architektur und Konfiguration) und AlloyDB Optimization Essentials (Leistungsoptimierung).
BigQuery für Data Analysts
Dieser Kurs richtet sich an Datenanalysten, die lernen möchten, wie sie BigQuery für ihre Analyseanforderungen nutzen können. Durch eine Kombination aus Präsentationen, Übungen und Demos behandeln wir verschiedene Themen, die erörtern, wie Sie Ihre Daten in BigQuery erfassen, transformieren und abfragen können, um Erkenntnisse zu gewinnen, die bei Geschäftsentscheidungen hilfreich sein können.
Data Engineering in der Google Cloud
Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Entwicklung von Datenverarbeitungssystemen in Google Cloud. Dieser Kurs vermittelt Ihnen anhand von Präsentationen, Demos und praktischen Übungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs behandelt strukturierte, unstrukturierte und Streaming-Daten.
Unsicher, welcher Kurs passt?
Buchen Sie ein 30-minütiges Gespräch. Wir schauen uns an, wo Ihr Team steht und was es können muss — und stellen daraus einen konkreten Kurstermin oder einen passenden Lernplan zusammen.