Ga naar hoofdinhoud

Cursus

Schaalbare gegevensverwerking in R

GevorderdVaardigheidsniveau

Bijgewerkt 08-2024

Leer hoe je schaalbare code kunt schrijven voor het werken met big data in R met behulp van de pakketten bigmemory en iotools.

Start Cursus Kosteloos

RProgramming

4 u

15 videos

49 Opdrachten

3,950 XP

6,148

Bewijs van Prestatie

Geliefd bij leerlingen van duizenden bedrijven

Een team trainen?

Probeer voor bedrijven

Cursusbeschrijving

Gegevenssets zijn vaak groter dan het beschikbare RAM-geheugen, wat problemen veroorzaakt voor R-programmeurs omdat standaard alle variabelen in het geheugen worden opgeslagen. Je leert tools om gegevens rechtstreeks vanaf schijf te verwerken, verkennen en analyseren. Je past ook de split-apply-combine-methode toe en leert hoe je schaalbare code schrijft met de pakketten bigmemory en iotools. In deze cursus maak je gebruik van de data van de Federal Housing Finance Agency, een openbaar beschikbare gegevensset met alle hypotheken die tussen 2009 en 2015 werden aangehouden of gesecuritiseerd door zowel de Federal National Mortgage Association (Fannie Mae) als de Federal Home Loan Mortgage Corporation (Freddie Mac).

Vereisten

Writing Efficient R Code

1

Werken met steeds grotere gegevenssets

In dit hoofdstuk bespreken we waarom je nieuwe technieken nodig hebt wanneer gegevenssets groter zijn dan het beschikbare RAM. We laten zien dat het importeren en exporteren van data met de basisfuncties van R traag kan zijn en geven enkele eenvoudige manieren om dit te verbeteren. Tot slot introduceren we het pakket bigmemory.

Wat is schaalbare gegevensverwerking?

Waarom is je code traag?

Hoe varieert de verwerkingstijd per gegevensgrootte?

Werken met "out-of-core" objecten met het Bigmemory-project

Een big.matrix-object inlezen

Een big.matrix-object koppelen

Tabellen maken met big.matrix-objecten

Gegevens samenvatten met bigsummary

Verwijzingen versus kopieën

Matrices en big matrices kopiëren

Hoofdstuk beginnen

2

Gegevens verwerken en analyseren met bigmemory

Nu je wat ervaring hebt met bigmemory, bekijken we enkele eenvoudige technieken voor data-exploratie en analyse. We zien met name hoe je tabellen maakt en de split-apply-combine-aanpak toepast.

De bigmemory-reeks aan pakketten

Tabelleren met bigtable

Ras en etniciteit van de lener per jaar (I)

Split-Apply-Combine

Aandeel vrouwelijke leners

Visualiseer je resultaten met de tidyverse

Visualiseren van het vrouwelijke leenpercentage

De borrower income ratio

Tidy Big Tables

Beperkingen van bigmemory

Waar kun je bigmemory voor gebruiken?

Hoofdstuk beginnen

3

Werken met iotools

We gebruiken het pakket iotools, dat zowel numerieke als tekengegevens kan verwerken, en introduceren het concept van verwerken in stukken (chunk-wise processing).

Introductie tot chunk-gewijze verwerking

Kun je het split-compute-combine-en?

Vouwbare bewerkingen (I)

Vouwbare bewerkingen (II)

Eerste kennismaking met iotools: data importeren

Vergelijk read.delim() en read.delim.raw()

Ruwe data inlezen en omzetten naar een datastructuur

chunk.apply

Chunks inlezen als een matrix

Chunks inlezen als een data.frame

Aanroepen van chunk.apply paralleliseren

Hoofdstuk beginnen

4

Casestudy: Een voorlopige analyse van de woningdata

In de vorige hoofdstukken hebben we de woningdata geïntroduceerd en laten zien hoe je kunt rekenen met data die ongeveer even groot of groter is dan de hoeveelheid RAM op één machine. In dit hoofdstuk voeren we een voorlopige analyse uit van de data en vergelijken we verschillende trends in de tijd.

Overzicht van soorten analyses in dit hoofdstuk

Ras- en etnische vertegenwoordiging in de hypotheekgegevens

De verhouding van leners naar ras/etniciteit vergelijken

Ontbreken de gegevens willekeurig?

Zoeken naar voorspelbare ontbrekende waarden

Nog iets meer over ontbrekende waarden

De woningdata analyseren

Ras en etniciteit van leners per jaar (II)

De aangepaste demografische trends visualiseren

Relatieve verandering in demografische trend

Leentrends van leners: stad vs. platteland

Regio van lener per jaar

Wie verstrekt federaal gegarandeerde leningen?

Gefeliciteerd!

Hoofdstuk beginnen

Schaalbare gegevensverwerking in R

Cursus
voltooid

Verdien een prestatieverklaring

Voeg deze referentie toe aan je LinkedIn-profiel, cv of curriculum vitae
Deel het op sociale media en in je functioneringsgesprekSchrijf je nu in

Sluit je aan bij meer dan 19 miljoen leerlingen en start vandaag nog met Schaalbare gegevensverwerking in R!

Ontwikkel je datavaardigheden met DataCamp voor Mobiel

Maak vooruitgang onderweg met onze mobiele cursussen en dagelijkse 5-minuten programmeeruitdagingen.