After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Deskripsi Kursus
Sering kali himpunan data lebih besar daripada RAM yang tersedia, yang menimbulkan masalah bagi pemrogram R karena secara default semua variabel disimpan di memori. Anda akan mempelajari alat untuk memproses, mengeksplorasi, dan menganalisis data langsung dari disk. Anda juga akan menerapkan pendekatan split-apply-combine dan mempelajari cara menulis kode yang dapat diskalakan menggunakan paket bigmemory dan iotools. Dalam kursus ini, Anda akan menggunakan data dari Federal Housing Finance Agency, sebuah himpunan data publik yang mencatat semua hipotek yang dipegang atau disekuritisasi oleh Federal National Mortgage Association (Fannie Mae) dan Federal Home Loan Mortgage Corporation (Freddie Mac) dari 2009–2015.
Prasyarat
Kurikulum
Garis besar kursus
1
Bekerja dengan Himpunan Data yang Semakin Besar
Pada bab ini, kami membahas alasan Anda perlu menerapkan teknik baru ketika himpunan data lebih besar daripada RAM yang tersedia. Kami menunjukkan bahwa impor dan ekspor data menggunakan fungsi dasar R bisa lambat serta beberapa cara mudah untuk mengatasinya. Terakhir, kami memperkenalkan paket bigmemory.
- Apa itu Pemrosesan Data yang Dapat Diskalakan?50 XP
- Mengapa kode Anda lambat?50 XP
- Bagaimana waktu pemrosesan berubah menurut ukuran data?100 XP
- Bekerja dengan Objek "Out-of-Core" menggunakan Proyek bigmemory50 XP
- Membaca objek big.matrix100 XP
- Melampirkan objek big.matrix100 XP
- Membuat tabel dengan objek big.matrix100 XP
- Ringkasan data menggunakan bigsummary100 XP
- Referensi vs. Salinan50 XP
- Menyalin matriks dan big matrix100 XP
2
Memproses dan Menganalisis Data dengan bigmemory
Sekarang setelah Anda memiliki pengalaman menggunakan bigmemory, kita akan membahas beberapa teknik eksplorasi dan analisis data sederhana. Secara khusus, kita akan melihat cara membuat tabel dan menerapkan pendekatan split-apply-combine.
3
Bekerja dengan iotools
Kita akan menggunakan paket iotools yang dapat memproses data numerik maupun string, dan memperkenalkan konsep pemrosesan per potongan (chunk-wise processing).
4
Studi Kasus: Analisis Awal atas Data Perumahan
Pada bab-bab sebelumnya, kami telah memperkenalkan data perumahan dan menunjukkan cara melakukan komputasi dengan data yang kira-kira sebesar, atau lebih besar dari, jumlah RAM pada satu mesin. Pada bab ini, kita akan melakukan analisis awal terhadap data, membandingkan berbagai tren dari waktu ke waktu.
R
Pemrosesan Data yang Dapat Diskalakan di R
Kursus
Selesai
