Data Warehousing mit BigQuery: Speicherdesign, Query-Optimierung und Administration
In diesem Kurs lernen Sie die Interna von BigQuery und Best Practices für den Entwurf, die Optimierung und die Verwaltung Ihres Data Warehouse kennen. Durch eine Kombination aus Präsentation, Demos und Übungen erfahren Sie mehr über die BigQuery-Architektur und wie Sie eine optimale Speicherung und Schemata für die Datenaufnahme und -änderungen entwerfen können.Als Nächstes lernen Sie Techniken zur Verbesserung der Leseleistung, zur Optimierung von Abfragen, zur Verwaltung von Arbeitslasten und zur Verwendung von Protokollierungs- und Überwachungstools. Sie lernen auch die verschiedenen Preismodelle kennen. Schließlich lernen Sie verschiedene Methoden zur Datensicherung, zur Automatisierung von Arbeitslasten und zum Erstellen von Machine-Learning-Modellen mit BigQuery ML kennen.
- Dauer: 3 Tage
- Sprachen: Englisch, Deutsch
- Niveau: Fortgeschritten
- Gruppengröße: Bis zu 16
Das lernen Sie
- Grundlagen der BigQuery-Architektur beschreiben.
- Speicher- und Schema-Designmuster implementieren, um die Leistung zu verbessern.
- DML verwenden und Datenübertragungen planen, um Daten aufzunehmen.
- Best Practices anwenden, um die Leseeffizienz zu verbessern und die Abfrageleistung zu optimieren.
- Kapazität verwalten und Arbeitslasten automatisieren.
- Muster versus Anti-Muster verstehen, um Abfragen zu optimieren und die Leseleistung zu verbessern.
- Protokollierungs- und Überwachungstools verwenden, um Nutzungsmuster zu verstehen und zu optimieren.
- Sicherheits-Best Practices anwenden, um Daten und Ressourcen zu verwalten.
- Mehrere Kategorien von Machine-Learning-Modellen mit BigQuery ML erstellen und bereitstellen.
Voraussetzungen
- Absolvierung des Kurses „Einführung in Data Engineering“.
- Vorkenntnisse in den folgenden Bereichen werden vorausgesetzt: Einführung in BigQuery, grundlegende Data-Warehousing-Konzepte, Konzepte der verteilten Datenverarbeitung und SQL.
Kursinhalt
BigQuery-Architekturgrundlagen
- Einführung
- BigQuery-Kerninfrastruktur
- BigQuery-Speicher
- BigQuery-Abfrageverarbeitung
- BigQuery-Datenmischung
Speicher- und Schemaoptimierungen
- BigQuery-Speicher
- Partitionierung und Clustering
- Verschachtelte und wiederholte Felder
- ARRAY- und STRUCT-Syntax
- Best Practices
Datenaufnahme
- Optionen für die Datenaufnahme
- Batch-Aufnahme
- Aufnahme-Streaming
- Legacy-Streaming-API
- BigQuery Storage Write API
- Abfrage-Materialisierung
- Externe Datenquellen abfragen
- Datenübertragungsdienst
Daten ändern
- Änderungsverwaltung in Data Warehouses
- Umgang mit langsam ändernden Dimensionen (SCD)
- DML-Anweisungen
- DML Best Practices und häufige Probleme
Leseleistung verbessern
- BigQuery-Cache
- Materialisierte Ansichten
- BI-Engine
- Lesevorgänge mit hohem Durchsatz
- BigQuery Storage Read API
Abfragen optimieren und Fehler beheben
- Einfache Abfrageausführung
- SELECTs und Aggregation
- JOINs und schiefwinklige JOINS
- Filtern und Sortieren
- Best Practices für Funktionen
Workload-Management und Preise
- BigQuery-Slots
- Preismodelle und Schätzungen
- Slot-Reservierungen
- Kostenkontrolle
Protokollierung und Überwachung
- Cloud-Überwachung
- BigQuery Admin Panel
- Cloud-Audit-Protokolle
- INFORMATION SCHEMA
- Abfragepfad und häufige Fehler
Sicherheit in BigQuery
- Sichere Ressourcen mit IAM
- Autorisierte Ansichten
- Sichere Daten mit Klassifizierung
- Verschlüsselung
- Datenerkennung und -governance
Workloads automatisieren
- Abfragen planen
- Skripting
- Gespeicherte Prozeduren
- Integration mit Big Data Produkten
Maschinelles Lernen in BigQuery
- Einführung in BigQuery ML
- So treffen Sie Vorhersagen mit BigQuery ML
- So erstellen und implementieren Sie ein Empfehlungssystem mit BigQuery ML
- So erstellen und implementieren Sie eine Lösung zur Nachfrageprognose mit BigQuery ML
- Zeitreihenmodelle mit BigQuery ML
- BigQuery ML Erklärbarkeit
Passende Kurse
AlloyDB Grundlagen
Dieser Kurs beleuchtet die Vorteile von AlloyDB, insbesondere im Vergleich zu PostgreSQL in Cloud SQL. Er führt Sie durch die Architektur von AlloyDB und erklärt, wie Sie Deployments in Google Cloud konfigurieren.Der Kurs ist in zwei Teile gegliedert: AlloyDB Administration Essentials (Architektur und Konfiguration) und AlloyDB Optimization Essentials (Leistungsoptimierung).
BigQuery für Data Analysts
Dieser Kurs richtet sich an Datenanalysten, die lernen möchten, wie sie BigQuery für ihre Analyseanforderungen nutzen können. Durch eine Kombination aus Präsentationen, Übungen und Demos behandeln wir verschiedene Themen, die erörtern, wie Sie Ihre Daten in BigQuery erfassen, transformieren und abfragen können, um Erkenntnisse zu gewinnen, die bei Geschäftsentscheidungen hilfreich sein können.
Data Engineering in der Google Cloud
Sammeln Sie praktische Erfahrungen mit dem Entwurf und der Entwicklung von Datenverarbeitungssystemen in Google Cloud. Dieser Kurs vermittelt Ihnen anhand von Präsentationen, Demos und praktischen Übungen, wie Sie Datenverarbeitungssysteme entwerfen, End-to-End-Datenpipelines erstellen, Daten analysieren und maschinelles Lernen implementieren. Dieser Kurs behandelt strukturierte, unstrukturierte und Streaming-Daten.
Unsicher, welcher Kurs passt?
Buchen Sie ein 30-minütiges Gespräch. Wir schauen uns an, wo Ihr Team steht und was es können muss — und stellen daraus einen konkreten Kurstermin oder einen passenden Lernplan zusammen.