After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Dữ liệu khuyết có ở khắp mọi nơi. Quy trình điền giá trị còn thiếu được gọi là imputation, và biết cách điền đúng dữ liệu khuyết là kỹ năng thiết yếu nếu bạn muốn tạo ra dự đoán chính xác và tạo khác biệt. Trong khóa học này, bạn sẽ học cách dùng trực quan hóa và kiểm định thống kê để nhận diện các mẫu dữ liệu khuyết, cũng như cách thực hiện imputation bằng một tập hợp các mô hình thống kê và Machine Learning. Bạn cũng sẽ rèn kỹ năng ra quyết định, giúp chọn phương pháp imputation phù hợp nhất cho từng tình huống. Cuối cùng, bạn sẽ học cách đưa mức độ bất định do imputation vào suy luận và dự đoán của mình để chúng vững vàng và đáng tin cậy hơn.
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Bài toán dữ liệu khuyết
Trong chương này, bạn sẽ biết vì sao dữ liệu khuyết có thể là rủi ro khi phân tích tập dữ liệu. Bạn sẽ được giới thiệu ba cơ chế gây dữ liệu khuyết và học cách nhận diện chúng bằng kiểm định thống kê và công cụ trực quan hóa.
- Dữ liệu khuyết: điều gì có thể xảy ra sai sót50 XP
- Hồi quy tuyến tính với dữ liệu không đầy đủ100 XP
- Phân tích đầu ra hồi quy50 XP
- So sánh các mô hình100 XP
- Cơ chế dữ liệu khuyết50 XP
- Nhận diện cơ chế dữ liệu thiếu100 XP
- Kiểm định t cho MAR: chuẩn bị dữ liệu100 XP
- t-test cho MAR: diễn giải100 XP
- Trực quan hóa các mẫu dữ liệu thiếu50 XP
- Biểu đồ tổng hợp (aggregation plot)100 XP
- Biểu đồ cột sống (spine plot)100 XP
- Biểu đồ mosaic100 XP
2
Imputation dựa trên mẫu cho
Làm quen với phân loại các phương pháp imputation và học ba kỹ thuật dựa trên mẫu cho: điền trung bình, hot-deck, và k-Nearest-Neighbors. Bạn sẽ “mở nắp capo” để xem các phương pháp này vận hành thế nào trước khi áp dụng chúng vào một tập dữ liệu thời tiết nhiệt đới thực tế. Đồng thời, bạn cũng sẽ học các mẹo hữu ích để khiến chúng hoạt động hiệu quả hơn cho bài toán của bạn.
3
Imputation dựa trên mô hình
Đến lúc học cách dùng các mô hình thống kê và Machine Learning, như hồi quy tuyến tính, hồi quy logistic, và random forest, để thực hiện imputation cho dữ liệu khuyết. Trong chương này, bạn sẽ tìm hiểu cách các mô hình đưa ra dự đoán và dùng kiến thức đó để rút giá trị điền từ các phân phối có điều kiện. Điều này quan trọng vì nó giúp các phép imputation đa dạng và hợp lý hơn, gần với dữ liệu thật hơn.
4
Bất định từ Imputation
Các giá trị đã điền không phải bất biến. Chúng chỉ là ước lượng, và mọi ước lượng đều đi kèm bất định. Trong chương cuối, bạn sẽ khám phá cách bootstrapping và chained equations bằng gói mice có thể được dùng để đưa bất định do imputation vào mô hình và phân tích của bạn, giúp chúng đáng tin cậy và vững vàng hơn.
R
Xử lý dữ liệu khuyết bằng Imputation trong R
Hoàn
thành khóa học
