Nach diesen Kursen fühle ich mich sicher, professionelle Visualisierungen und Dashboards zu erstellen.
Shoebur RahmanBeschaffungsspezialist, Giz Bangladesh
Kursbeschreibung
Datensätze sind oft größer als der verfügbare Arbeitsspeicher. Das ist für R-Programmierer:innen problematisch, da standardmäßig alle Variablen im Speicher liegen. Du lernst Werkzeuge kennen, mit denen du Daten direkt von der Festplatte verarbeiten, untersuchen und analysieren kannst. Außerdem setzt du den Split-Apply-Combine-Ansatz um und lernst, wie du mit den Paketen bigmemory und iotools skalierbaren Code schreibst. In diesem Kurs nutzt du Daten der Federal Housing Finance Agency – ein frei verfügbarer Datensatz, der alle Hypotheken erfasst, die von der Federal National Mortgage Association (Fannie Mae) und der Federal Home Loan Mortgage Corporation (Freddie Mac) zwischen 2009 und 2015 gehalten oder verbrieft wurden.
Voraussetzungen
Lernprogramm
Kursübersicht
1
Arbeiten mit immer größeren Datensätzen
In diesem Kapitel erfährst du, warum du neue Techniken brauchst, wenn Datensätze größer sind als der verfügbare Arbeitsspeicher. Wir zeigen, dass das Importieren und Exportieren von Daten mit Basisfunktionen in R langsam sein kann, und stellen einfache Möglichkeiten vor, das zu verbessern. Abschließend führen wir das Paket bigmemory ein.
- Was ist skalierbare Datenverarbeitung?50 XP
- Warum ist dein Code langsam?50 XP
- Wie variiert die Verarbeitungszeit je nach Datenmenge?100 XP
- Arbeiten mit „Out-of-Core“-Objekten mit dem Bigmemory-Projekt50 XP
- Ein big.matrix-Objekt einlesen100 XP
- Ein big.matrix-Objekt anhängen100 XP
- Tabellen mit big.matrix-Objekten erstellen100 XP
- Daten zusammenfassen mit bigsummary100 XP
- Referenzen vs. Kopien50 XP
- Matrizen und Big-Matrizen kopieren100 XP
2
Datenverarbeitung und -analyse mit bigmemory
Nachdem du nun erste Erfahrung mit bigmemory gesammelt hast, schauen wir uns einfache Methoden zur Datenexploration und -analyse an. Insbesondere siehst du, wie man Tabellen erzeugt und den Split-Apply-Combine-Ansatz umsetzt.
3
Arbeiten mit iotools
Wir verwenden das Paket iotools, das sowohl numerische als auch String-Daten verarbeiten kann, und führen das Konzept der verarbeitungsweisen in Blöcken (chunk-wise processing) ein.
4
Fallstudie: Eine vorläufige Analyse der Housing-Daten
In den vorherigen Kapiteln haben wir die Housing-Daten vorgestellt und gezeigt, wie man mit Daten rechnet, die ungefähr so groß sind wie der Arbeitsspeicher eines einzelnen Rechners – oder größer. In diesem Kapitel führen wir eine vorläufige Analyse der Daten durch und vergleichen verschiedene Trends im Zeitverlauf.
R
Skalierbare Datenverarbeitung in R
Kurs
abgeschlossen
