DataCamp Premium à -50 %.Plus de 700 cours, à moitié prix. Commencez à apprendre dès aujourd’hui.
Description du cours
Ce cours est idéal pour les ingénieurs de données, les scientifiques de données et les praticiens du machine learning qui souhaitent travailler efficacement avec des ensembles de données volumineux. Que vous soyez en train de passer d'outils tels que Pandas ou que vous vous lanciez pour la première fois dans les technologies du big data, ce cours offre une introduction solide à PySpark et au traitement distribué des données.
Pourquoi choisir Spark ? Pourquoi pas ?
Découvrez la rapidité et l'évolutivité de Spark, le puissant framework conçu pour traiter le big data. Grâce à des cours interactifs et des exercices pratiques, vous découvrirez comment le traitement en mémoire de Spark lui confère un avantage par rapport aux frameworks traditionnels tels que Hadoop. Vous commencerez par configurer des sessions Spark et vous plongerez dans les composants essentiels tels que les ensembles de données distribués résilients (RDD) et les DataFrame. Apprenez à filtrer, regrouper et joindre des ensembles de données avec aisance tout en travaillant sur des exemples concrets.Améliorez vos compétences en Python et SQL pour le Big Data
Découvrez comment exploiter PySpark SQL pour interroger et gérer des données à l'aide d'une syntaxe SQL familière. Apprenez à gérer les schémas, les types de données complexes et les fonctions définies par l'utilisateur (UDF), tout en développant vos compétences en matière de mise en cache et d'optimisation des performances pour les systèmes distribués.Élaborez les fondements de votre stratégie Big Data
À la fin de ce cours, vous serez en mesure de manipuler, interroger et traiter des données volumineuses à l'aide de PySpark. Grâce à ces compétences fondamentales, vous serez prêt à explorer des sujets avancés tels que l'apprentissage automatique et l'analyse des mégadonnées.Prérequis
Programme de formation
Plan du cours
1
Introduction à Apache Spark et PySpark
Une introduction générale à PySpark et au calcul distribué. Cette section présente PySpark, les DataFrames PySpark et les RDD.
- Introduction à PySpark50 XP
- Créer une SparkSession100 XP
- Charger des données de recensement100 XP
- Introduction aux DataFrames PySpark50 XP
- Scalabilité et performance50 XP
- Lire un CSV et effectuer des agrégations100 XP
- Filtrer par entreprise100 XP
- Aller plus loin avec les DataFrames Spark50 XP
- Inférer et filtrer100 XP
- Définir le schéma100 XP
2
PySpark en Python
Poursuite sur les DataFrames et les types de données complexes. Cette section développe les possibilités des DataFrames dans PySpark et introduit quelques concepts de Spark SQL.
3
Introduction à PySpark SQL
Approfondissez l’usage de Spark SQL et PySpark pour un traitement des données à l’échelle, en combinant la simplicité de SQL et la puissance du calcul distribué de PySpark pour gérer efficacement de grands ensembles de données.
Introduction à PySpark
Cours
terminé

