After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Gegevenssets zijn vaak groter dan het beschikbare RAM-geheugen, wat problemen veroorzaakt voor R-programmeurs omdat standaard alle variabelen in het geheugen worden opgeslagen. Je leert tools om gegevens rechtstreeks vanaf schijf te verwerken, verkennen en analyseren. Je past ook de split-apply-combine-methode toe en leert hoe je schaalbare code schrijft met de pakketten bigmemory en iotools. In deze cursus maak je gebruik van de data van de Federal Housing Finance Agency, een openbaar beschikbare gegevensset met alle hypotheken die tussen 2009 en 2015 werden aangehouden of gesecuritiseerd door zowel de Federal National Mortgage Association (Fannie Mae) als de Federal Home Loan Mortgage Corporation (Freddie Mac).
Vereisten
Curriculum
Cursusoverzicht
1
Werken met steeds grotere gegevenssets
In dit hoofdstuk bespreken we waarom je nieuwe technieken nodig hebt wanneer gegevenssets groter zijn dan het beschikbare RAM. We laten zien dat het importeren en exporteren van data met de basisfuncties van R traag kan zijn en geven enkele eenvoudige manieren om dit te verbeteren. Tot slot introduceren we het pakket bigmemory.
- Wat is schaalbare gegevensverwerking?50 XP
- Waarom is je code traag?50 XP
- Hoe varieert de verwerkingstijd per gegevensgrootte?100 XP
- Werken met "out-of-core" objecten met het Bigmemory-project50 XP
- Een big.matrix-object inlezen100 XP
- Een big.matrix-object koppelen100 XP
- Tabellen maken met big.matrix-objecten100 XP
- Gegevens samenvatten met bigsummary100 XP
- Verwijzingen versus kopieën50 XP
- Matrices en big matrices kopiëren100 XP
2
Gegevens verwerken en analyseren met bigmemory
Nu je wat ervaring hebt met bigmemory, bekijken we enkele eenvoudige technieken voor data-exploratie en analyse. We zien met name hoe je tabellen maakt en de split-apply-combine-aanpak toepast.
3
Werken met iotools
We gebruiken het pakket iotools, dat zowel numerieke als tekengegevens kan verwerken, en introduceren het concept van verwerken in stukken (chunk-wise processing).
4
Casestudy: Een voorlopige analyse van de woningdata
In de vorige hoofdstukken hebben we de woningdata geïntroduceerd en laten zien hoe je kunt rekenen met data die ongeveer even groot of groter is dan de hoeveelheid RAM op één machine. In dit hoofdstuk voeren we een voorlopige analyse uit van de data en vergelijken we verschillende trends in de tijd.
R
Schaalbare gegevensverwerking in R
Cursus
voltooid
