After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Gli insiemi di dati sono spesso più grandi della RAM disponibile, il che crea problemi a chi programma in R, dato che per impostazione predefinita tutte le variabili vengono memorizzate in memoria. Imparerai strumenti per elaborare, esplorare e analizzare i dati direttamente dal disco. Metterai inoltre in pratica l’approccio split-apply-combine e imparerai a scrivere codice scalabile usando i pacchetti bigmemory e iotools. In questo corso userai i dati della Federal Housing Finance Agency, un insieme di dati pubblico che documenta tutti i mutui detenuti o cartolarizzati sia da Federal National Mortgage Association (Fannie Mae) sia da Federal Home Loan Mortgage Corporation (Freddie Mac) dal 2009 al 2015.
Prerequisiti
Curriculum
Programma del corso
1
Lavorare con insiemi di dati sempre più grandi
In questo capitolo vedremo perché è necessario applicare nuove tecniche quando gli insiemi di dati sono più grandi della RAM disponibile. Mostreremo che importare ed esportare dati con le funzioni base di R può essere lento e alcune semplici modalità per rimediare. Infine, introdurremo il pacchetto bigmemory.
- Che cos'è l'elaborazione dati scalabile?50 XP
- Perché il tuo codice è lento?50 XP
- Come varia il tempo di elaborazione al variare della dimensione dei dati?100 XP
- Lavorare con oggetti "out-of-core" usando il progetto bigmemory50 XP
- Lettura di un oggetto big.matrix100 XP
- Agganciare un oggetto big.matrix100 XP
- Creare tabelle con oggetti big.matrix100 XP
- Riepilogo dei dati con bigsummary100 XP
- Riferimenti vs copie50 XP
- Copiare matrici e big matrix100 XP
2
Elaborazione e analisi dei dati con bigmemory
Ora che hai un po’ di esperienza con bigmemory, passeremo in rassegna semplici tecniche di esplorazione e analisi dei dati. In particolare, vedremo come creare tabelle e applicare l’approccio split-apply-combine.
3
Lavorare con iotools
Useremo il pacchetto iotools, che può elaborare sia dati numerici sia stringhe, e introdurremo il concetto di elaborazione per blocchi (chunk-wise).
4
Caso di studio: analisi preliminare dei dati immobiliari
Nei capitoli precedenti abbiamo introdotto i dati immobiliari e mostrato come calcolare con dati grandi quanto, o più grandi, della quantità di RAM su una singola macchina. In questo capitolo, effettueremo un’analisi preliminare dei dati, confrontando varie tendenze nel tempo.
R
Elaborazione scalabile dei dati in R
Corso
completato
