Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Si vous demandiez à un grand nombre de data scientists et d’analystes quelles tâches reviennent le plus souvent dans leur quotidien, le nettoyage des données figurerait presque toujours dans leurs réponses. Les données du monde réel sont en effet désordonnées. Pour vous aider à les maîtriser, ce cours vous apprend à nettoyer des données stockées dans une base PostgreSQL. Vous verrez comment résoudre des problèmes courants comme le nettoyage de chaînes de caractères, la gestion des valeurs vides, la comparaison de similarité entre chaînes, et bien plus encore. Vous pratiquerez concrètement ces tâches avec des jeux de données intéressants (mais désordonnés) issus du programme Open Data de la ville de New York. Prêt à remettre de l’ordre dans ces données ?
Prérequis
Programme de formation
Plan du cours
1
Notions de base du nettoyage de données
Dans ce chapitre, vous découvrirez les approches de nettoyage de données avec des bases PostgreSQL et comprendrez l’intérêt de nettoyer les données le plus tôt possible dans le pipeline. Vous apprendrez aussi des techniques de base d’édition de chaînes, comme la suppression d’espaces superflus, ainsi que des sujets plus avancés comme la recherche de motifs et la similarité de chaînes pour repérer les valeurs à nettoyer.
- Introduction au nettoyage des données50 XP
- Adopter un état d’esprit orienté nettoyage des données50 XP
- Appliquer des fonctions pour nettoyer des chaînes100 XP
- Correspondance de motifs50 XP
- Classer les infractions de stationnement selon le moment de la journée100 XP
- Masquer des informations identifiantes avec des expressions régulières100 XP
- Faire correspondre des chaînes similaires50 XP
- Faire correspondre des noms de couleurs incohérents100 XP
- Standardiser les noms de couleurs100 XP
- Standardiser plusieurs couleurs100 XP
- Mettre en forme du texte pour vos collègues100 XP
2
Données manquantes, dupliquées et invalides
Vous apprendrez à écrire des requêtes pour résoudre des problèmes courants de données manquantes, dupliquées et invalides dans des tables PostgreSQL. À travers des exercices pratiques, vous utiliserez la fonction COALESCE(), la requête SELECT et la clause WHERE pour nettoyer des données désordonnées.
3
Conversion des données
Il arrive que vous deviez convertir des données stockées dans une base PostgreSQL d’un type à un autre. Dans ce chapitre, vous explorerez les expressions nécessaires pour convertir du texte en types numériques et comment formater des chaînes pour des données temporelles.
4
Transformation des données
Dans le dernier chapitre, vous apprendrez à transformer vos données et à construire des tableaux croisés. En travaillant sur des données postales réelles, vous verrez comment combiner et scinder des adresses en ville, État et codes postaux à l’aide d’un ensemble de fonctions puissantes, dont CONCAT(), SUBSTRING() et REGEXP_SPLIT_TO_TABLE().
S
Nettoyer des données dans des bases PostgreSQL
Cours
terminé
