Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Dans ce cours, vous apprendrez à utiliser Spark à partir de Python. Spark est un outil permettant d'effectuer des calculs parallèles sur de grands ensembles de données et s'intègre parfaitement à Python. PySpark est le paquet Python qui rend cela possible. Vous utiliserez ce paquet pour traiter les données relatives aux vols au départ de Portland et de Seattle. Vous apprendrez à exploiter ces données et à mettre en place un pipeline complet de machine learning afin de prédire si les vols seront retardés ou non. Préparez-vous à ajouter un peu de Spark à votre code Python et à plonger dans le monde du machine learning haute performance.
Prérequis
Programme de formation
Plan du cours
1
Premiers pas avec PySpark
Dans ce chapitre, vous apprendrez comment Spark gère les données et comment lire et écrire des tables à partir de Python.
- Qu'est-ce que Spark, au juste ?50 XP
- Utilisation de Spark dans Python50 XP
- Analyse du SparkContext100 XP
- Utilisation des DataFrames50 XP
- Création d'une SparkSession100 XP
- Affichage des tables100 XP
- Êtes-vous « requêtement » curieux ?100 XP
- Pandafy, un Spark DataFrame100 XP
- Donnez une nouvelle étincelle* à vos données (\*en anglais, Spark signifie étincelle)100 XP
- Suppression des intermédiaires100 XP
2
Manipulation des données
Dans ce chapitre, vous découvrirez le module pyspark.sql, qui permet d'optimiser les requêtes de données dans votre session Spark.
3
Premiers pas avec les pipelines de machine learning
PySpark intègre des routines de machine learning de pointe, ainsi que des utilitaires permettant de créer des pipelines de machine learning complets. Vous en apprendrez davantage à leur sujet dans ce chapitre.
4
Ajustement et sélection des modèles
Dans ce dernier chapitre, vous appliquerez ce que vous avez appris pour créer un modèle permettant de prédire quels vols seront retardés.
Principes fondamentaux de PySpark
Cours
terminé
