Vai al contenuto principale

Corso

Elaborazione scalabile dei dati in R

AvanzatoLivello di competenza

Aggiornato 08/2024

Impara a scrivere codice scalabile per lavorare con i big data in R usando i pacchetti bigmemory e iotools.

Inizia il corso gratis

RProgramming

4 h

15 video

49 Esercizi

3,950 XP

6,148

Attestato di conseguimento

Preferito dagli studenti di migliaia di aziende

Formare un team?

Prova per il Business

Descrizione del corso

Gli insiemi di dati sono spesso più grandi della RAM disponibile, il che crea problemi a chi programma in R, dato che per impostazione predefinita tutte le variabili vengono memorizzate in memoria. Imparerai strumenti per elaborare, esplorare e analizzare i dati direttamente dal disco. Metterai inoltre in pratica l’approccio split-apply-combine e imparerai a scrivere codice scalabile usando i pacchetti bigmemory e iotools. In questo corso userai i dati della Federal Housing Finance Agency, un insieme di dati pubblico che documenta tutti i mutui detenuti o cartolarizzati sia da Federal National Mortgage Association (Fannie Mae) sia da Federal Home Loan Mortgage Corporation (Freddie Mac) dal 2009 al 2015.

Prerequisiti

Writing Efficient R Code

1

Lavorare con insiemi di dati sempre più grandi

In questo capitolo vedremo perché è necessario applicare nuove tecniche quando gli insiemi di dati sono più grandi della RAM disponibile. Mostreremo che importare ed esportare dati con le funzioni base di R può essere lento e alcune semplici modalità per rimediare. Infine, introdurremo il pacchetto bigmemory.

Che cos'è l'elaborazione dati scalabile?

Perché il tuo codice è lento?

Come varia il tempo di elaborazione al variare della dimensione dei dati?

Lavorare con oggetti "out-of-core" usando il progetto bigmemory

Lettura di un oggetto big.matrix

Agganciare un oggetto big.matrix

Creare tabelle con oggetti big.matrix

Riepilogo dei dati con bigsummary

Riferimenti vs copie

Copiare matrici e big matrix

Inizia il capitolo

2

Elaborazione e analisi dei dati con bigmemory

Ora che hai un po’ di esperienza con bigmemory, passeremo in rassegna semplici tecniche di esplorazione e analisi dei dati. In particolare, vedremo come creare tabelle e applicare l’approccio split-apply-combine.

La suite di pacchetti Bigmemory

Tabulazione con bigtable

Razza ed etnia del mutuatario per anno (I)

Split-Apply-Combine

Proporzione di donne che prendono a prestito

Visualizza i risultati con il tidyverse

Visualizzare la quota di prestiti alle donne

Il rapporto di reddito del mutuatario

Grandi tabelle in formato tidy

Limiti di bigmemory

Dove dovresti usare bigmemory?

Inizia il capitolo

3

Lavorare con iotools

Useremo il pacchetto iotools, che può elaborare sia dati numerici sia stringhe, e introdurremo il concetto di elaborazione per blocchi (chunk-wise).

Introduzione all'elaborazione per blocchi

Sai applicare split-compute-combine?

Operazioni foldable (I)

Operazioni pieghevoli (II)

Primo sguardo a iotools: Importare dati

Confronta read.delim() e read.delim.raw()

Lettura di dati raw e conversione in una struttura dati

chunk.apply

Lettura di chunk come matrice

Lettura di chunk come data.frame

Parallelizzare le chiamate a chunk.apply

Inizia il capitolo

4

Caso di studio: analisi preliminare dei dati immobiliari

Nei capitoli precedenti abbiamo introdotto i dati immobiliari e mostrato come calcolare con dati grandi quanto, o più grandi, della quantità di RAM su una singola macchina. In questo capitolo, effettueremo un’analisi preliminare dei dati, confrontando varie tendenze nel tempo.

Panoramica dei tipi di analisi per questo capitolo

Rappresentanza razziale ed etnica nei dati sui mutui

Confronto tra razza/etnia dei mutuatari e relative proporzioni

I dati mancano in modo casuale?

Alla ricerca di dati mancanti prevedibili

Qualcosa in più sui dati mancanti

Analizzare i dati sul mercato immobiliare

Razza ed etnia dei mutuatari per anno (II)

Visualizzare le tendenze demografiche corrette

Variazione relativa nella tendenza demografica

Tendenze dei prestiti ai mutuatari: città vs aree rurali

Regione del mutuatario per anno

Chi sta garantendo i prestiti federali?

Congratulazioni!

Inizia il capitolo

Elaborazione scalabile dei dati in R

Corso
completato

Ottieni Attestato di conseguimento

Aggiungi questa certificazione al tuo profilo LinkedIn, al curriculum o al CV
Condividila sui social e nella valutazione delle tue performanceIscriviti ora

Unisciti a oltre 19 milioni di studenti e inizia Elaborazione scalabile dei dati in R oggi!

Aumenta le tue competenze sui dati con l'app di DataCamp

Avanza ovunque ti trovi con i nostri corsi per dispositivi mobili e le nostre sfide di programmazione quotidiane da 5 minuti.