After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Nếu bạn khảo sát một nhóm lớn nhà khoa học dữ liệu và nhà phân tích dữ liệu về những công việc thường gặp nhất trong ngày làm việc của họ, việc làm sạch dữ liệu hầu như sẽ xuất hiện trong mọi câu trả lời. Lý do là dữ liệu thực tế thường rất bừa bộn. Để giúp bạn thuần hóa dữ liệu lộn xộn, khóa học này sẽ hướng dẫn cách làm sạch dữ liệu được lưu trong cơ sở dữ liệu PostgreSQL. Bạn sẽ học cách giải quyết các vấn đề phổ biến như làm sạch chuỗi lộn xộn, xử lý giá trị trống, so sánh mức độ tương đồng giữa các chuỗi, và còn nhiều hơn nữa. Bạn sẽ thực hành trực tiếp với các tác vụ này bằng những bộ dữ liệu thú vị (nhưng bừa bộn) do chương trình Open Data của thành phố New York cung cấp. Sẵn sàng biến đống dữ liệu ngổn ngang đó vào khuôn khổ chứ?
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Những điều cơ bản về làm sạch dữ liệu
Trong chương này, bạn sẽ hiểu các phương pháp làm sạch dữ liệu khi làm việc với cơ sở dữ liệu PostgreSQL và học được giá trị của việc làm sạch dữ liệu càng sớm càng tốt trong pipeline. Bạn cũng sẽ học các cách chỉnh sửa chuỗi cơ bản như loại bỏ khoảng trắng thừa, cũng như các chủ đề nâng cao hơn như khớp mẫu và độ tương đồng chuỗi để xác định các giá trị chuỗi cần làm sạch.
- Giới thiệu về làm sạch dữ liệu50 XP
- Hình thành tư duy làm sạch dữ liệu50 XP
- Áp dụng hàm để làm sạch chuỗi100 XP
- Khớp mẫu50 XP
- Phân loại vi phạm đỗ xe theo thời điểm trong ngày100 XP
- Ẩn thông tin nhận dạng bằng biểu thức chính quy100 XP
- Khớp các chuỗi tương tự50 XP
- Khớp các tên màu không nhất quán100 XP
- Chuẩn hóa tên màu100 XP
- Chuẩn hoá nhiều màu sắc100 XP
- Định dạng văn bản cho đồng nghiệp100 XP
2
Dữ liệu thiếu, trùng lặp và không hợp lệ
Bạn sẽ học cách viết truy vấn để giải quyết các vấn đề phổ biến về dữ liệu thiếu, trùng lặp và không hợp lệ trong ngữ cảnh các bảng cơ sở dữ liệu PostgreSQL. Thông qua các bài tập thực hành, bạn sẽ dùng hàm COALESCE(), truy vấn SELECT và mệnh đề WHERE để làm sạch dữ liệu lộn xộn.
3
Chuyển đổi dữ liệu
Đôi khi bạn cần chuyển dữ liệu lưu trong cơ sở dữ liệu PostgreSQL từ kiểu dữ liệu này sang kiểu khác. Trong chương này, bạn sẽ khám phá các biểu thức cần thiết để chuyển văn bản sang kiểu số và cách định dạng chuỗi cho dữ liệu thời gian.
4
Biến đổi dữ liệu
Ở chương cuối, bạn sẽ học cách biến đổi dữ liệu và xây dựng bảng pivot. Làm việc với dữ liệu bưu chính thực tế, bạn sẽ khám phá cách gộp và tách địa chỉ thành thành phố, bang và mã zip bằng hàng loạt hàm mạnh mẽ như CONCAT(), SUBSTRING() và REGEXP_SPLIT_TO_TABLE().
S
Làm sạch dữ liệu trong cơ sở dữ liệu PostgreSQL
Hoàn
thành khóa học
