Name: Xử lý dữ liệu có khả năng mở rộng trong R
Rating: 4.72 (25 reviews)

Mô tả khóa học

Các bộ dữ liệu thường lớn hơn RAM sẵn có, điều này gây khó khăn cho lập trình viên R vì mặc định mọi biến đều được lưu trong bộ nhớ. Bạn sẽ học các công cụ để xử lý, khám phá và phân tích dữ liệu trực tiếp từ đĩa. Bạn cũng sẽ triển khai phương pháp tách–xử lý–kết hợp (split-apply-combine) và học cách viết mã có khả năng mở rộng bằng các gói bigmemory và iotools. Trong khóa học này, bạn sẽ sử dụng dữ liệu của Cơ quan Tài chính Nhà ở Liên bang (Federal Housing Finance Agency), một bộ dữ liệu công khai ghi nhận tất cả các khoản thế chấp do Federal National Mortgage Association (Fannie Mae) và Federal Home Loan Mortgage Corporation (Freddie Mac) nắm giữ hoặc chứng khoán hóa trong giai đoạn 2009–2015.

Yêu cầu tiên quyết

Writing Efficient R Code

Chương trình học

Đề cương khóa học

Làm việc với các bộ dữ liệu ngày càng lớn

Trong chương này, chúng ta tìm hiểu lý do bạn cần áp dụng các kỹ thuật mới khi bộ dữ liệu lớn hơn RAM sẵn có. Chúng tôi cho thấy việc nhập và xuất dữ liệu bằng các hàm base R có thể chậm và một vài cách đơn giản để khắc phục. Cuối cùng, chúng tôi giới thiệu gói bigmemory.

Bắt đầu chương

Xử lý và phân tích dữ liệu với bigmemory

Bây giờ bạn đã có chút trải nghiệm với bigmemory, chúng ta sẽ đi qua một số kỹ thuật khám phá và phân tích dữ liệu đơn giản. Cụ thể, bạn sẽ thấy cách tạo bảng và triển khai phương pháp tách–xử lý–kết hợp (split-apply-combine).

Bắt đầu chương

Làm việc với iotools

Chúng ta sẽ sử dụng gói iotools có thể xử lý cả dữ liệu số và chuỗi, và giới thiệu khái niệm xử lý theo từng khối (chunk-wise processing).

Bắt đầu chương

Nghiên cứu tình huống: Phân tích sơ bộ dữ liệu nhà ở

Ở các chương trước, chúng ta đã giới thiệu dữ liệu nhà ở và chỉ ra cách tính toán với dữ liệu có kích thước xấp xỉ hoặc lớn hơn lượng RAM trên một máy đơn lẻ. Trong chương này, chúng ta sẽ thực hiện phân tích sơ bộ dữ liệu, so sánh các xu hướng theo thời gian.