Name: Schaalbare gegevensverwerking in R
Rating: 4.714285714285714 (28 reviews)

Cursusbeschrijving

Gegevenssets zijn vaak groter dan het beschikbare RAM-geheugen, wat problemen veroorzaakt voor R-programmeurs omdat standaard alle variabelen in het geheugen worden opgeslagen. Je leert tools om gegevens rechtstreeks vanaf schijf te verwerken, verkennen en analyseren. Je past ook de split-apply-combine-methode toe en leert hoe je schaalbare code schrijft met de pakketten bigmemory en iotools. In deze cursus maak je gebruik van de data van de Federal Housing Finance Agency, een openbaar beschikbare gegevensset met alle hypotheken die tussen 2009 en 2015 werden aangehouden of gesecuritiseerd door zowel de Federal National Mortgage Association (Fannie Mae) als de Federal Home Loan Mortgage Corporation (Freddie Mac).

Vereisten

Writing Efficient R Code

Lesprogramma

Cursusoverzicht

Werken met steeds grotere gegevenssets

In dit hoofdstuk bespreken we waarom je nieuwe technieken nodig hebt wanneer gegevenssets groter zijn dan het beschikbare RAM. We laten zien dat het importeren en exporteren van data met de basisfuncties van R traag kan zijn en geven enkele eenvoudige manieren om dit te verbeteren. Tot slot introduceren we het pakket bigmemory.

Hoofdstuk starten

Gegevens verwerken en analyseren met bigmemory

Nu je wat ervaring hebt met bigmemory, bekijken we enkele eenvoudige technieken voor data-exploratie en analyse. We zien met name hoe je tabellen maakt en de split-apply-combine-aanpak toepast.

Hoofdstuk starten

Werken met iotools

We gebruiken het pakket iotools, dat zowel numerieke als tekengegevens kan verwerken, en introduceren het concept van verwerken in stukken (chunk-wise processing).

Hoofdstuk starten

Casestudy: Een voorlopige analyse van de woningdata

In de vorige hoofdstukken hebben we de woningdata geïntroduceerd en laten zien hoe je kunt rekenen met data die ongeveer even groot of groter is dan de hoeveelheid RAM op één machine. In dit hoofdstuk voeren we een voorlopige analyse uit van de data en vergelijken we verschillende trends in de tijd.