[Infographic] Danh sách kiểm tra làm sạch dữ liệu

Làm sạch dữ liệu chiếm 80% quy trình làm khoa học dữ liệu. Vì vậy, chúng tôi đã tạo danh sách kiểm tra này để giúp bạn xác định và xử lý bất kỳ vấn đề chất lượng nào trong dữ liệu của mình. Nếu bạn muốn tìm hiểu thêm về làm sạch dữ liệu, hãy xem khóa học của chúng tôi về Làm sạch dữ liệu bằng Python và R tương ứng. 

Để tải xuống đồ họa thông tin này, hãy nhấn vào hình ảnh phía trên

Các vấn đề về ràng buộc dữ liệu

1. Ràng buộc kiểu dữ liệu

• Là gì: Đảm bảo rằng các cột khác nhau có kiểu dữ liệu chính xác trước khi bắt đầu phân tích. 
• Ví dụ thực tế: Một cột revenue_usd là chuỗi thay vì kiểu dữ liệu số.
• Giải pháp khả thi: Chuyển đổi sang kiểu dữ liệu phù hợp

2. Ràng buộc phạm vi dữ liệu

• Là gì: Đảm bảo rằng các cột khác nhau có phạm vi phù hợp. Điều này đặc biệt đúng với các cột có giới hạn.
• Ví dụ thực tế: Một cột gpa nên bị ràng buộc trong khoảng [0.0, 4.0]
• Giải pháp khả thi:
  • Kiểm tra lỗi gõ, như dấu thập phân đặt sai chỗ.
  • Loại bỏ các hàng có điểm dữ liệu vi phạm ràng buộc phạm vi
  • Đặt điểm dữ liệu vi phạm ràng buộc phạm vi về giá trị tối đa hoặc tối thiểu
  • Xem điểm dữ liệu vi phạm ràng buộc phạm vi là thiếu và nội suy bù

3. Ràng buộc tính duy nhất

• Là gì: Đảm bảo rằng không có các bản sao trùng khớp hoàn toàn hoặc gần như trùng khớp trong các hàng của bạn. 
• Ví dụ thực tế: Một hàng trùng lặp mà các cột name và phone_number giống hệt nhau, nhưng cột height_cm thì không
• Giải pháp khả thi:
  • Chỉ giữ một trong các hàng trùng khớp hoàn toàn
  • Gộp các hàng là bản sao không hoàn toàn trùng khớp 

Các vấn đề với văn bản và dữ liệu phân loại

1. Ràng buộc tư cách thành viên cho dữ liệu phân loại

• Là gì: Đảm bảo rằng các cột phân loại có nhóm giá trị đúng và nhất quán
• Ví dụ thực tế: Hai mục nhập khác nhau cho “New York” trong cột city
• Giải pháp khả thi:
  • Loại bỏ các hàng bị ảnh hưởng bởi nhóm giá trị không nhất quán
  • Ánh xạ lại các nhóm giá trị không nhất quán về tên nhóm đúng
  • Suy luận nhóm giá trị dựa trên các điểm dữ liệu khác nếu chưa rõ cách ánh xạ lại

2. Vi phạm độ dài đối với dữ liệu văn bản

• Là gì: Đảm bảo rằng các cột văn bản tuân theo một chuẩn cụ thể có cùng độ dài chuỗi 
• Ví dụ thực tế: Một cột phone_number của Hoa Kỳ có 9 ký tự thay vì 14
• Giải pháp khả thi:
  • Loại bỏ các hàng bị ảnh hưởng bởi vi phạm độ dài
  • Đặt các quan sát bị ảnh hưởng thành thiếu

3. Dữ liệu văn bản có định dạng không nhất quán

• Là gì: Đảm bảo rằng các cột văn bản tuân theo một chuẩn cụ thể có cùng độ dài chuỗi 
• Ví dụ thực tế: Một cột phone_number của Hoa Kỳ có 9 ký tự thay vì 14
• Giải pháp khả thi:
  • Loại bỏ các hàng bị ảnh hưởng bởi vi phạm độ dài
  • Đặt các quan sát bị ảnh hưởng thành thiếu

Các vấn đề về tính đồng nhất của dữ liệu

1. Đồng nhất đơn vị cho các cột số

• Là gì: Đảm bảo rằng các cột số có cùng đơn vị (Nhiệt độ là Celsius hay Fahrenheit trên tất cả quan sát. Điều này đặc biệt quan trọng khi nối dữ liệu từ các quốc gia hoặc nguồn khác nhau.) 
• Ví dụ thực tế: Một cột nhiệt độ theo độ C có các giá trị nhiệt độ quá cao hoặc quá thấp một cách bất thường 
• Giải pháp khả thi:
  • Loại bỏ các hàng không có ngữ cảnh về đơn vị và không vượt qua kiểm tra hợp lý
  • Chuẩn hóa đơn vị khi có thể

2. Đồng nhất đơn vị cho các cột ngày tháng

• Là gì: Đảm bảo rằng các cột ngày tháng có cùng định dạng datetime
• Ví dụ thực tế: Cột birthday có ngày ở cả định dạng dd-mm-yyyy và mm-dd-yyyy
• Giải pháp khả thi:
  • Chuẩn hóa định dạng datetime khi có thể
  • Loại bỏ các hàng không có ngữ cảnh về định dạng datetime và không vượt qua kiểm tra hợp lý

3. Kiểm tra chéo trường cho các cột số

• Là gì: Kiểm tra chéo trường là khi chúng ta dùng nhiều trường trong một tập dữ liệu để đảm bảo tính hợp lệ của trường khác. Ví dụ, đảm bảo các cột thành phần cộng lại đúng tổng liên quan.
• Ví dụ thực tế: Số đặt chỗ theo hạng ghế cộng lại bằng tổng số đặt chỗ đã ghi
• Giải pháp khả thi:
  • Loại bỏ các hàng không vượt qua kiểm tra hợp lý
  • Áp dụng quy tắc từ kiến thức miền dựa trên hiểu biết về dữ liệu 

4. Kiểm tra chéo trường cho các cột ngày tháng

• Là gì: Đảm bảo rằng các cột ngày và thời gian vượt qua các kiểm tra hợp lý (ví dụ, đảm bảo ngày đăng ký hội thảo trực tuyến luôn trước ngày tham dự) 
• Ví dụ thực tế: Một cột date_of_birth không tương ứng với cột age
• Giải pháp khả thi:
  • Loại bỏ các hàng không vượt qua kiểm tra hợp lý
  • Áp dụng quy tắc từ kiến thức miền dựa trên hiểu biết về dữ liệu 

Các vấn đề về dữ liệu thiếu

1. Thiếu hoàn toàn ngẫu nhiên

• Là gì: Khi không có mối quan hệ có hệ thống giữa các giá trị thiếu và các giá trị khác trong tập dữ liệu
• Ví dụ thực tế: Không quan sát thấy mối quan hệ giữa dữ liệu thiếu và các giá trị khác trong tập dữ liệu
• Giải pháp khả thi:
  • Loại bỏ các hàng thiếu
  • Nội suy bù các hàng thiếu bằng thước đo trung tâm như trung vị hoặc trung bình
  • Nội suy bù các hàng thiếu bằng phương pháp thuật toán, dựa trên máy học
  • Thu thập thêm điểm dữ liệu và đặc trưng 

2. Thiếu ngẫu nhiên có điều kiện

• Là gì: Khi có mối quan hệ có hệ thống giữa dữ liệu thiếu và các giá trị quan sát được khác
• Ví dụ thực tế: Thiếu dữ liệu điều tra dân số từ một khu vực cụ thể vì dịch vụ bưu chính không phủ sóng đầy đủ tại khu vực đó
• Giải pháp khả thi:
  • Loại bỏ các hàng thiếu
  • Nội suy bù các hàng thiếu bằng thước đo trung tâm như trung vị hoặc trung bình
  • Nội suy bù các hàng thiếu bằng phương pháp thuật toán, dựa trên máy học
  • Thu thập thêm điểm dữ liệu và đặc trưng 

3. Thiếu không ngẫu nhiên

• Là gì: Khi có mối quan hệ có hệ thống giữa dữ liệu thiếu và các giá trị không quan sát được khác 
• Ví dụ thực tế: Bỏ sót các lần đo nhiệt độ từ một cảm biến vì nhiệt độ quá thấp hoặc quá cao
• Giải pháp khả thi:
  • Loại bỏ các hàng thiếu
  • Nội suy bù các hàng thiếu bằng thước đo trung tâm như trung vị hoặc trung bình
  • Nội suy bù các hàng thiếu bằng phương pháp thuật toán, dựa trên máy học
  • Thu thập thêm điểm dữ liệu và đặc trưng