Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Apprenez à utiliser Apache Spark pour l'apprentissage automatique (Machine Learning)
Spark est un outil puissant et généraliste pour travailler avec les Big Data. Spark gère de manière transparente la répartition des tâches de calcul sur un cluster. Cela signifie que les opérations sont rapides, mais cela vous permet également de vous concentrer sur l'analyse plutôt que de vous préoccuper des détails techniques. Dans ce cours, vous apprendrez à intégrer des données dans Spark, puis à vous plonger dans les trois algorithmes fondamentaux de Spark Machine Learning : Régression linéaire, régression logistique/classificateurs et création de pipelines.Construire et tester des arbres de décision
La construction de vos propres arbres de décision est un excellent moyen de commencer à explorer les modèles d'apprentissage automatique. Vous utiliserez un algorithme appelé "partitionnement récursif" pour diviser les données en deux classes et trouver un prédicteur dans vos données qui aboutit à la division la plus informative des deux classes, et répéter cette action avec d'autres nœuds. Vous pouvez ensuite utiliser votre arbre de décision pour faire des prévisions avec de nouvelles données.Maîtriser la régression logistique et linéaire dans PySpark
La régression logistique et la régression linéaire sont des techniques d'apprentissage automatique essentielles prises en charge par PySpark. Vous apprendrez à construire et à évaluer des modèles de régression logistique, avant de passer à la création de modèles de régression linéaire pour vous aider à affiner vos prédicteurs en ne retenant que les options les plus pertinentes.À la fin du cours, vous serez confiant dans l'application de vos nouvelles connaissances en matière d'apprentissage automatique, grâce aux tâches pratiques et aux ensembles de données d'entraînement que vous trouverez tout au long du cours.
Prérequis
Programme de formation
Plan du cours
1
Introduction
Spark est un cadre de travail permettant de travailler avec des données massives (Big Data). Dans ce chapitre, vous aborderez quelques notions de base sur Spark et l'apprentissage automatique. Vous découvrirez ensuite comment vous connecter à Spark à l'aide de Python et charger des données CSV.
2
Classification
Maintenant que vous êtes familiarisé avec l'introduction de données dans Spark, vous allez passer à la construction de deux types de modèles de classification : Arbres de décision et régression logistique. Vous découvrirez également quelques approches de la préparation des données.
3
Régression
Vous apprendrez ensuite à créer des modèles de régression linéaire. Vous découvrirez également comment augmenter vos données en concevant de nouveaux prédicteurs, ainsi qu'une approche solide pour sélectionner uniquement les prédicteurs les plus pertinents.
4
Ensembles et pipelines
Enfin, vous apprendrez à rendre vos modèles plus efficaces. Vous découvrirez comment utiliser les pipelines pour rendre votre code plus clair et plus facile à maintenir. Vous utiliserez ensuite la validation croisée pour mieux tester vos modèles et sélectionner les bons paramètres. Enfin, vous découvrirez deux types de modèles d'ensemble.
Apprentissage automatique avec PySpark
Cours
terminé
