Name: Traitement de données à grande échelle en R
Rating: 4.714285714285714 (28 reviews)

Description du cours

Les jeux de données dépassent souvent la RAM disponible, ce qui pose problème aux programmeurs R, car par défaut toutes les variables sont stockées en mémoire. Vous allez apprendre des outils pour traiter, explorer et analyser les données directement depuis le disque. Vous mettrez également en œuvre l’approche « split-apply-combine » et verrez comment écrire du code évolutif avec les packages bigmemory et iotools. Dans ce cours, vous utiliserez les données de la Federal Housing Finance Agency, un jeu de données public répertoriant tous les prêts hypothécaires détenus ou titrisés par la Federal National Mortgage Association (Fannie Mae) et la Federal Home Loan Mortgage Corporation (Freddie Mac) de 2009 à 2015.

Prérequis

Writing Efficient R Code

Programme de formation

Plan du cours

Travailler avec des jeux de données de plus en plus volumineux

Dans ce chapitre, nous expliquons pourquoi il est nécessaire d’adopter de nouvelles techniques lorsque les jeux de données sont plus volumineux que la RAM disponible. Nous montrons que l’import et l’export de données avec les fonctions de base de R peuvent être lents, et présentons quelques moyens simples d’y remédier. Enfin, nous introduisons le package bigmemory.

Commencer le chapitre

Traitement et analyse des données avec bigmemory

Maintenant que vous avez un peu d’expérience avec bigmemory, nous allons passer en revue des techniques simples d’exploration et d’analyse de données. En particulier, nous verrons comment créer des tableaux et mettre en œuvre l’approche split-apply-combine.

Commencer le chapitre

Utiliser iotools

Nous utiliserons le package iotools, capable de traiter des données numériques comme textuelles, et introduirons le concept de traitement par blocs (chunk-wise processing).

Commencer le chapitre

Étude de cas : analyse préliminaire des données immobilières

Dans les chapitres précédents, nous avons présenté les données immobilières et montré comment calculer avec des données dont la taille est comparable ou supérieure à la quantité de RAM d’une seule machine. Dans ce chapitre, nous réaliserons une analyse préliminaire des données en comparant différentes tendances au fil du temps.