Lewati ke konten utama

Kursus

Pemrosesan Data yang Dapat Diskalakan di R

LanjutanTingkat Keterampilan

Diperbarui 08/2024

Pelajari cara menulis kode yang skalabel untuk bekerja dengan big data di R menggunakan paket bigmemory dan iotools.

Mulai Kursus Gratis

RProgramming

4 jam

15 videos

49 Latihan

3,950 XP

6,148

Pernyataan Pencapaian

Dipercaya oleh para pelajar di ribuan perusahaan

Melatih Tim?

Coba untuk Bisnis

Deskripsi Kursus

Sering kali himpunan data lebih besar daripada RAM yang tersedia, yang menimbulkan masalah bagi pemrogram R karena secara default semua variabel disimpan di memori. Anda akan mempelajari alat untuk memproses, mengeksplorasi, dan menganalisis data langsung dari disk. Anda juga akan menerapkan pendekatan split-apply-combine dan mempelajari cara menulis kode yang dapat diskalakan menggunakan paket bigmemory dan iotools. Dalam kursus ini, Anda akan menggunakan data dari Federal Housing Finance Agency, sebuah himpunan data publik yang mencatat semua hipotek yang dipegang atau disekuritisasi oleh Federal National Mortgage Association (Fannie Mae) dan Federal Home Loan Mortgage Corporation (Freddie Mac) dari 2009–2015.

Persyaratan

Writing Efficient R Code

1

Bekerja dengan Himpunan Data yang Semakin Besar

Pada bab ini, kami membahas alasan Anda perlu menerapkan teknik baru ketika himpunan data lebih besar daripada RAM yang tersedia. Kami menunjukkan bahwa impor dan ekspor data menggunakan fungsi dasar R bisa lambat serta beberapa cara mudah untuk mengatasinya. Terakhir, kami memperkenalkan paket bigmemory.

Apa itu Pemrosesan Data yang Dapat Diskalakan?

Mengapa kode Anda lambat?

Bagaimana waktu pemrosesan berubah menurut ukuran data?

Bekerja dengan Objek "Out-of-Core" menggunakan Proyek bigmemory

Membaca objek big.matrix

Melampirkan objek big.matrix

Membuat tabel dengan objek big.matrix

Ringkasan data menggunakan bigsummary

Referensi vs. Salinan

Menyalin matriks dan big matrix

2

Memproses dan Menganalisis Data dengan bigmemory

Sekarang setelah Anda memiliki pengalaman menggunakan bigmemory, kita akan membahas beberapa teknik eksplorasi dan analisis data sederhana. Secara khusus, kita akan melihat cara membuat tabel dan menerapkan pendekatan split-apply-combine.

Kumpulan Paket Bigmemory

Membuat tabel menggunakan bigtable

Ras dan Etnis Peminjam per Tahun (I)

Split-Apply-Combine

Proporsi Peminjam Perempuan

Kombinasikan

Visualisasikan hasil Anda menggunakan tidyverse

Memvisualisasikan Proporsi Peminjaman oleh Perempuan

Rasio Pendapatan Peminjam

Menata Tabel Besar

Keterbatasan bigmemory

Di mana sebaiknya Anda menggunakan bigmemory?

3

Bekerja dengan iotools

Kita akan menggunakan paket iotools yang dapat memproses data numerik maupun string, dan memperkenalkan konsep pemrosesan per potongan (chunk-wise processing).

Pengantar pemrosesan per potongan

Dapatkah Anda melakukan split-compute-combine?

Operasi foldable (I)

Operasi foldable (II)

Sekilas iotools: Mengimpor data

Bandingkan read.delim() dan read.delim.raw()

Membaca data raw dan mengubahnya menjadi struktur data

chunk.apply

Membaca potongan data sebagai matriks

Membaca chunk sebagai data.frame

Memparalelkan pemanggilan chunk.apply

4

Studi Kasus: Analisis Awal atas Data Perumahan

Pada bab-bab sebelumnya, kami telah memperkenalkan data perumahan dan menunjukkan cara melakukan komputasi dengan data yang kira-kira sebesar, atau lebih besar dari, jumlah RAM pada satu mesin. Pada bab ini, kita akan melakukan analisis awal terhadap data, membandingkan berbagai tren dari waktu ke waktu.

Tinjauan jenis analisis untuk bab ini

Representasi Ras dan Etnis dalam Data KPR

Membandingkan Ras/Etnis Peminjam dan Proporsinya

Apakah data hilang secara acak?

Mencari Pola Ketidaklengkapan yang Dapat Diprediksi

Sedikit lagi tentang nilai hilang

Menganalisis Data Perumahan

Ras dan Etnis Peminjam per Tahun (II)

Memvisualisasikan Tren Demografis yang Disesuaikan

Perubahan relatif dalam tren demografis

Tren Pemberian Pinjaman Peminjam: Kota vs. Perdesaan

Wilayah Peminjam menurut Tahun

Siapa yang memperoleh pinjaman dengan jaminan federal?

Pemrosesan Data yang Dapat Diskalakan di R

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar sekarang

Bergabung dengan 19 juta pelajar dan mulai Pemrosesan Data yang Dapat Diskalakan di R Hari Ini!

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.