Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Prêt à traiter des données réelles à grande échelle ? Ce cours vous apprend à transformer de vastes jeux de données avec Spark SQL et PySpark dans Databricks. Vous apprendrez à façonner et nettoyer les données, à exécuter des agrégations avec des jointures optimisées, et à appliquer des fonctions de fenêtre pour des analyses avancées. Vous configurerez aussi un streaming basé sur des fichiers avec des points de contrôle tolérants aux pannes et vous conserverez les résultats sous forme de tables Delta. À la fin, vous orchestrerez des pipelines de production en plusieurs étapes avec Databricks Workflows et Lakeflow Declarative Pipelines.
Prérequis
Programme de formation
Plan du cours
1
Chargement et mise en forme des données
Dans ce chapitre, vous apprendrez à utiliser les notebooks Databricks, à charger des données CSV dans des DataFrames Spark et à mettre les données en forme avec PySpark et SQL.
- Utiliser les notebooks Databricks50 XP
- Comprendre les notebooks Databricks50 XP
- Charger votre premier jeu de données100 XP
- Explorer les journaux du driver100 XP
- Préparer et façonner les données avec PySpark et SQL50 XP
- Façonner les données avec PySpark100 XP
- Analyser des données avec SQL100 XP
- Comprendre les vues temporaires50 XP
2
Nettoyage des données et optimisation
Apprenez à définir des schémas explicites, à construire un pipeline de nettoyage des données et à optimiser les performances des requêtes avec des broadcast joins.
3
Analytique et pipelines de production
Apprenez à calculer des cumuls et des classements avec des fonctions de fenêtre, à créer des pipelines de streaming et à déployer des workflows de production.
Transformation des données avec Spark SQL dans Databricks
Cours
terminé
