BigQuery-Workloads mit Dataform orchestrieren
Dataform ist ein Dienst für Datenanalysten zur Entwicklung, zum Testen, zur Versionskontrolle und zur Planung komplexer SQL-Workflows für die Datentransformation in BigQuery. In diesem Kurs werden Sie die Komponenten von Dataform Core kennenlernen, erfahren, wie man Tabellen und Abhängigkeiten in SQLX definiert, BigQuery-Tabellen und -Ansichten dokumentiert, die BigQuery-Sicherheitseinstellungen versteht und wie man diese mit Dataform verwaltet, Zusicherungen schreibt, SQL-Workflows ausführt und weitere fortgeschrittene Anwendungsfälle erkundet.
- Dauer: 1 Tag
- Sprachen: Englisch, Deutsch
- Niveau: Fortgeschritten
- Gruppengröße: Bis zu 16
Das lernen Sie
- Verstehen Sie die Komponenten von Dataform Core.
- Erstellen Sie Tabellen und Ansichten in BigQuery mithilfe von Dataform.
- Dokumentieren Sie BigQuery-Tabellen und -Ansichten.
- Verstehen Sie die BigQuery-Sicherheitseinstellungen mithilfe von Dataform.
- Verwenden Sie Zusicherungen, um Daten in Dataform-Workflows zu validieren.
- Führen Sie Dataform-SQL-Workflows automatisiert aus.
Voraussetzungen
- Kenntnisse in SQL-Datenanalyse und BigQuery
Kursinhalt
Dataform-Kernkomponenten
- SQL-Workflow
- Repositories und Arbeitsbereiche
- Standarddateien und -ordner
- Kompilierte Diagramme
Tabellendefinitionen und Abhängigkeiten
- Datenquelle deklarieren.
- Tabelle erstellen.
- Inkrementelle Tabelle erstellen.
- Partitionierungs- und Clustering-Optionen festlegen.
- Leere Tabelle erstellen.
- Externe BigLake-Tabelle erstellen.
- Ansichten und materialisierte Ansichten erstellen.
- Abhängigkeiten definieren.
BigQuery-Tabellen und -Ansichten dokumentieren
- Spaltenbeschreibungen verwenden.
- Global definierte JavaScript-Konstanten verwenden.
- Labels hinzufügen.
BigQuery-Sicherheitseinstellungen
- IAM-Dataset und Tabellen-/Ansichtszugriff
- Spaltenbasierte Sicherheit
- Zeilenbasierte Sicherheit
Assertions
- Integrierte Assertions verwenden.
- Manuelle Assertions erstellen.
- Assertions zur Datenvalidierung in Dataform-Workflows verwenden.
SQL-Workflow-Ausführungen
- Lebenszyklus des Dataform-Codes.
- Was während der Kompilierung passiert.
- Kompilierungsergebnisse anpassen und planen.
- Workflows ausführen (UI, Cloud Scheduler, Cloud Composer).
- Protokollierung und Überwachung.
Erweiterte Anwendungsfälle
- BigLake-Tabelle nach Dateiupload mit Cloud Run-Funktionen erstellen.
- Machine Learning-Pipeline mit BigQuery ML erstellen.
- Mit langsam ändernden Dimensionen Typ 2 arbeiten.
Passende Kurse
AlloyDB Grundlagen
Dieser Kurs beleuchtet die Vorteile von AlloyDB, insbesondere im Vergleich zu PostgreSQL in Cloud SQL. Er führt Sie durch die Architektur von AlloyDB und erklärt, wie Sie Deployments in Google Cloud konfigurieren.Der Kurs ist in zwei Teile gegliedert: AlloyDB Administration Essentials (Architektur und Konfiguration) und AlloyDB Optimization Essentials (Leistungsoptimierung).
BigQuery für Data Analysts
Dieser Kurs richtet sich an Datenanalysten, die lernen möchten, wie sie BigQuery für ihre Analyseanforderungen nutzen können. Durch eine Kombination aus Präsentationen, Übungen und Demos behandeln wir verschiedene Themen, die erörtern, wie Sie Ihre Daten in BigQuery erfassen, transformieren und abfragen können, um Erkenntnisse zu gewinnen, die bei Geschäftsentscheidungen hilfreich sein können.
Data Engineering in der Google Cloud
Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Entwicklung von Datenverarbeitungssystemen in Google Cloud. Dieser Kurs vermittelt Ihnen anhand von Präsentationen, Demos und praktischen Übungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs behandelt strukturierte, unstrukturierte und Streaming-Daten.
Unsicher, welcher Kurs passt?
Buchen Sie ein 30-minütiges Gespräch. Wir schauen uns an, wo Ihr Team steht und was es können muss — und stellen daraus einen konkreten Kurstermin oder einen passenden Lernplan zusammen.