Trung bình Winsorized: Cách tiếp cận vững chắc để xử lý giá trị ngoại lai

Giá trị ngoại lai thường có thể làm chệch hướng phân tích của bạn, biến một phân tích đáng lẽ có ý nghĩa thành một kết luận sai lệch. Dữ liệu không hoàn hảo và nhiễu là điều thường gặp trong thế giới thực, và winsorization là một giải pháp thực tiễn để giảm tác động của ngoại lai mà không loại bỏ bất kỳ dữ liệu nào.

Bài viết này sẽ khám phá cách thức hoạt động của trung bình winsorized, các ứng dụng thực tế, và các bước tính toán bằng Python. Chúng ta cũng sẽ hiểu ưu, nhược điểm của nó, so sánh với các thước đo hữu ích khác như trung bình cắt (trimmed mean), và tìm hiểu những thước đo thống kê winsorized khác.

Trung bình Winsorized là gì?

Trung bình winsorized là một thước đo thống kê giúp giảm tác động của giá trị ngoại lai bằng cách thay thế các giá trị cực đoan bằng các phân vị ít cực đoan hơn thay vì loại bỏ hoàn toàn chúng. Khác với trung bình số học, vốn coi tất cả điểm dữ liệu như nhau, trung bình winsorized giới hạn ảnh hưởng của các giá trị cực đoan có thể làm méo kết quả tổng thể.

Winsorization hoạt động bằng cách chặn hoặc thay thế các giá trị vượt quá một ngưỡng phân vị nhất định. Ví dụ, trong winsorization 5%, 5% điểm dữ liệu thấp nhất được thay thế bằng giá trị tại phân vị thứ 5, và 5% điểm dữ liệu cao nhất được thay thế bằng giá trị tại phân vị thứ 95. Phương pháp này giúp giữ lại cấu trúc tổng thể của bộ dữ liệu đồng thời giảm tác động của ngoại lai, khiến nó trở thành một lựa chọn bền vững hơn so với trung bình chuẩn ở các bộ dữ liệu có giá trị cực đoan.

Ứng dụng thực tiễn của trung bình winsorized

Tính hữu dụng của trung bình winsorized đặc biệt rõ ràng trong các lĩnh vực có phân phối dữ liệu lệch. Dưới đây là một số lĩnh vực tiêu biểu nơi trung bình winsorized phát huy hiệu quả:

• Tài chính và phân tích đầu tư: Các bộ dữ liệu tài chính thường chứa giá trị cực đoan, như sụp đổ thị trường hoặc mức tăng đột biến, có thể làm méo trung bình và che mờ xu hướng. Bằng cách winsorize lợi suất hoặc giá tài sản, nhà phân tích có thể tạo ra các chỉ số hiệu suất ổn định hơn, phản ánh tốt hơn hành vi thị trường điển hình.
• Dữ liệu kinh tế: Trong các nghiên cứu kinh tế vĩ mô, các chỉ số như thu nhập hoặc phân bổ tài sản thường bị lệch bởi một số ít giá trị cực cao hoặc cực thấp. Trung bình winsorized có thể mang lại cái nhìn cân bằng hơn về điều kiện kinh tế bằng cách hạn chế ảnh hưởng của các quan sát cực đoan này.
• Khảo sát và nghiên cứu khoa học xã hội: Khảo sát có thể tạo ra dữ liệu với câu trả lời cực đoan, như điểm số quá cao hoặc quá thấp. Trong những trường hợp này, trung bình winsorized cung cấp thước đo khuynh hướng trung tâm chính xác hơn, đảm bảo các câu trả lời cực đoan không ảnh hưởng quá mức đến phân tích tổng thể.
• Nghiên cứu y sinh: Dữ liệu y tế, như kết quả bệnh nhân hoặc xét nghiệm, đôi khi có giá trị cực đoan do tình trạng hiếm gặp hoặc ca ngoại lệ. Winsorize dữ liệu này có thể giúp nhà nghiên cứu có bức tranh chính xác hơn về kết quả trung bình mà không loại bỏ hoàn toàn những điểm dữ liệu có thể có giá trị.

Trong mỗi ứng dụng trên, trung bình winsorized là một lựa chọn bền vững thay cho trung bình chuẩn, giúp nhà phân tích rút ra insight ít bị ảnh hưởng bởi ngoại lai trong khi vẫn giữ các mẫu hình dữ liệu quan trọng.

Cách tính trung bình winsorized trong Python

Tính trung bình winsorized trong Python bao gồm thay thế các giá trị cực đoan (ngoại lai) bằng các giá trị tại những phân vị cụ thể. Trước khi bắt đầu, tóm tắt nhanh các bước chúng ta sẽ thực hiện:

• Import các thư viện và bộ dữ liệu cần thiết.

• Winsorize bộ dữ liệu bằng scipy.winsorize().

• Tính trung bình bằng numpy.mean().

Hãy đi vào chi tiết với một ví dụ. 

Import các thư viện và bộ dữ liệu cần thiết

Đầu tiên, chúng ta sẽ import các thư viện cần để tính trung bình.

import numpy as np
from scipy.stats.mstats import winsorizeĐược hỗ trợ bởi

Tiếp theo, chúng ta nạp bộ dữ liệu, có thể từ tệp CSV hoặc nguồn dữ liệu khác. Để ví dụ đơn giản, chúng ta sẽ tạo một bộ dữ liệu mẫu bằng numpy.

data = np.array([10, 12, 14, 15, 16, 18, 20, 22, 24, 25, 30, 35, 40, 45, 50, 60, 70, 80, 82, 85, 90, 200])Được hỗ trợ bởi

Giá trị 200 có thể được coi là ngoại lai trong bộ dữ liệu này dựa trên phân tích ban đầu.

Winsorize bộ dữ liệu 

Hàm winsorize() từ thư viện scipy cho phép bạn chỉ định tỷ lệ phần trăm dữ liệu sẽ winsorize ở cả hai đuôi dưới và trên. Mã để thực hiện như sau:

# Winsorize 5% từ cả hai đuôi dưới và trên
winsorized_data = winsorize(data, limits=[0.05, 0.05])Được hỗ trợ bởi

Trong đoạn mã trên, tham số limits=[0.05, 0.05] truyền vào hàm winsorize() sẽ thay thế 5% giá trị nhỏ nhất và 5% giá trị lớn nhất bằng các giá trị tại phân vị thứ 5 và 95 tương ứng. Giờ chúng ta có thể kiểm tra dữ liệu đã winsorize.

print("Original data: ", data)
print("Winsorized data: ", winsorized_data)Được hỗ trợ bởi

Kết quả sẽ cho thấy các ngoại lai đã được thay thế:

Original data: [ 10 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 200]
Winsorized data: [ 12 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 90]Được hỗ trợ bởi

Ở đây, giá trị lớn nhất 200 đã được thay bằng 90; tương tự, giá trị cực đoan ở đầu dưới, 10, đã được thay bằng 12.

Tính trung bình 

Cuối cùng, hãy tính trung bình của dữ liệu đã winsorize:

winsorized_mean = np.mean(winsorized_data)
print("Winsorized mean: ", winsorized_mean)Được hỗ trợ bởi

Kết quả như sau:

Winsorized mean: 42.5Được hỗ trợ bởi

Trung bình winsorized đã giảm ảnh hưởng của các giá trị quá cao so với trung bình thông thường. Để so sánh, ta có thể tính trung bình gốc như sau:

original_mean = np.mean(data)
print("Original mean: ", original_mean)Được hỗ trợ bởi

Kết quả như sau:

Original mean: 47.40909090909091Được hỗ trợ bởi

Trung bình gốc ở mức 47.40 bị ảnh hưởng mạnh bởi ngoại lai, khiến nó cao hơn đáng kể. Sau khi winsorize các giá trị cực đoan, trung bình winsorized thấp hơn nhiều ở mức 42.5 với ảnh hưởng nhỏ hơn từ các giá trị cực đoan.

Trung bình Winsorized so với Trimmed Mean: Khác biệt chính

Trung bình winsorized và trimmed mean đều là các phương pháp thống kê dùng để giảm tác động của ngoại lai lên trung bình, nhưng khác nhau ở cách xử lý giá trị cực đoan:

• Trung bình winsorized thay thế các giá trị cực đoan (ngoại lai) ở cả hai đầu dữ liệu bằng những giá trị gần nhất trong bộ dữ liệu. Phương pháp này không loại bỏ dữ liệu mà điều chỉnh các giá trị cực đoan để giảm tác động của chúng.
• Trimmed mean loại bỏ (cắt) tỷ lệ phần trăm nhỏ nhất và lớn nhất của các điểm dữ liệu. Phương pháp này loại bỏ một phần dữ liệu ở cả hai đầu. Với trimmed mean 5%, 5% nhỏ nhất và 5% lớn nhất của các điểm dữ liệu bị loại khỏi phép tính trung bình.

Trung bình winsorized được ưa dùng khi bạn muốn giữ cấu trúc dữ liệu (tức là giữ nguyên kích thước mẫu) nhưng vẫn giảm tác động của giá trị cực đoan. Trimmed mean phù hợp khi bộ dữ liệu có các ngoại lai rõ ràng mà bạn muốn loại bỏ hoàn toàn và chấp nhận kích thước mẫu nhỏ hơn sau khi cắt.

So sánh trimmed mean và trung bình winsorized trong Python

Hãy xem hai phương pháp ảnh hưởng đến bộ dữ liệu như thế nào và so sánh kết quả của chúng.

from scipy.stats import trim_mean

# Tính trimmed mean bằng cách loại bỏ 5% ở cả hai đuôi
trimmed_mean = trim_mean(data, proportiontocut=0.05)

# In kết quả
print("Original mean: ", np.mean(data))
print("Winsorized mean (5%): ", winsorized_mean)
print("Trimmed mean (5%): ", trimmed_mean)Được hỗ trợ bởi

Kết quả như sau:

Original mean: 47.40909090909091
Winsorized mean (5%): 42.5
Trimmed mean (5%): 41.65Được hỗ trợ bởi

Trung bình gốc là 47.4, bị ảnh hưởng mạnh bởi ngoại lai. Trung bình winsorized, 42.5, được tính với các ngoại lai được thay bằng giá trị ít cực đoan hơn. Trimmed mean, khi các ngoại lai bị loại bỏ hoàn toàn, là 41.65.

Khi nào dùng mỗi phương pháp

Dùng trung bình winsorized khi bạn muốn giữ tất cả điểm dữ liệu nhưng giảm tác động của các giá trị cực đoan. Đây là một nguyên tắc thực hành tốt khi bạn tin rằng các ngoại lai là có thật nhưng muốn giảm thiểu ảnh hưởng của chúng.

Dùng trimmed mean khi bạn muốn loại bỏ hoàn toàn ngoại lai khỏi bộ dữ liệu. Trimmed mean hữu ích nhất khi bạn nghi ngờ các ngoại lai là lỗi hoặc không đại diện cho phân phối dữ liệu.

Tóm tắt khác biệt chính

Các khác biệt được tóm tắt trong bảng sau:

Những khác biệt chính giữa trung bình winsorized và trimmed mean. Ảnh: Tác giả.

Cả trung bình winsorized và trimmed mean đều giúp xử lý ngoại lai, nhưng lựa chọn phụ thuộc vào việc bạn muốn giữ hay loại bỏ các giá trị cực đoan khỏi bộ dữ liệu.

Ưu điểm và hạn chế của trung bình winsorized

Mặc dù winsorization là một cách tiếp cận vững chắc để xử lý ngoại lai, việc điều chỉnh các giá trị cực đoan có thể làm dấy lên lo ngại về thao túng dữ liệu. Dưới đây là một số ưu điểm và hạn chế của kỹ thuật này:

Ưu điểm

• Vững hơn trung bình chuẩn khi có ngoại lai: Trung bình winsorized giảm tác động của các giá trị cực đoan (ngoại lai), mang lại thước đo trung tâm ổn định và đáng tin cậy hơn trong các bộ dữ liệu mà ngoại lai có thể làm méo kết quả.
• Giữ cấu trúc tổng thể của bộ dữ liệu bằng cách giữ tất cả điểm dữ liệu: Khác với trimmed mean, vốn loại bỏ các giá trị cực đoan, trung bình winsorized thay thế chúng bằng các giá trị ít cực đoan hơn, duy trì kích thước mẫu và cấu trúc tổng thể của bộ dữ liệu.
• Phù hợp hơn cho bộ dữ liệu nhỏ: Với các bộ dữ liệu mà việc loại bỏ điểm dữ liệu (như khi cắt) sẽ dẫn đến mẫu không đại diện hoặc không đầy đủ, winsorization giữ lại mọi giá trị, đảm bảo bộ dữ liệu vẫn sử dụng được.

Hạn chế

• Có thể gây thiên lệch nếu phân phối dữ liệu bất đối xứng: Winsorize dữ liệu theo các phân vị cố định (ví dụ 5% ở mỗi đầu) có thể tạo thiên lệch nếu bộ dữ liệu không đối xứng. Nếu dữ liệu bị lệch, winsorization có thể làm sai lệch khuynh hướng trung tâm thay vì phản ánh chính xác nó.
• Cần lựa chọn cẩn trọng tỷ lệ winsorization: Tỷ lệ dữ liệu cần winsorize (tức là phần các giá trị cực đoan sẽ điều chỉnh) thường được chọn một cách cảm tính. Chọn tỷ lệ không phù hợp có thể không giảm đủ tác động của ngoại lai, hoặc thay đổi quá nhiều giá trị, làm giảm tính đại diện của bộ dữ liệu.
• Winsorize quá mức có thể che mờ các mẫu hình quan trọng: Winsorize quá nhiều điểm dữ liệu có thể che khuất các mẫu hình hoặc xu hướng có ý nghĩa. Trong một số trường hợp, các giá trị cực đoan là thông tin hợp lệ và quan trọng (ví dụ trong dữ liệu tài chính, nơi ngoại lai có thể biểu thị những sự kiện hiếm nhưng tác động lớn), và việc thay thế chúng có thể dẫn đến kết luận sai lệch.

Vì vậy, cần cân nhắc kỹ ưu và nhược điểm trước khi đưa kỹ thuật này vào các dự án phân tích dữ liệu.

Các khái niệm thống kê winsorized khác

Vì winsorization là một kỹ thuật thống kê áp dụng cho các thước đo, nó có thể được mở rộng sang các thước đo thống kê thông dụng khác. Hãy khám phá một số thước đo khác có thể áp dụng winsorization:

• Độ lệch mẫu winsorized: Phiên bản winsorized của độ lệch chuẩn đo lường mức độ phân tán của một bộ dữ liệu đã winsorize bằng cách thay thế các giá trị cực đoan. Được tính là căn bậc hai của phương sai winsorized.
• Phương sai winsorized: Đối ứng winsorized của phương sai đo lường mức độ điểm dữ liệu lệch so với trung bình winsorized, có tính đến việc giảm ảnh hưởng ngoại lai. Được tính là trung bình bình phương độ lệch so với trung bình winsorized trong một bộ dữ liệu đã winsorize.
• Khoảng biến thiên winsorized: Hiệu giữa giá trị lớn nhất và nhỏ nhất trong bộ dữ liệu đã winsorize, nhỏ hơn khoảng biến thiên gốc do đã thay thế các ngoại lai.
• Độ lệch (skewness) winsorized: Đo lường độ bất đối xứng của phân phối bộ dữ liệu đã winsorize, cho biết phân phối lệch trái hay lệch phải sau khi winsorization. Nó giúp nhận diện độ lệch ở những bộ dữ liệu mà các giá trị cực đoan có thể làm sai lệch phép tính độ lệch chuẩn.
• Tương quan winsorized: Phiên bản winsorized của tương quan Pearson đánh giá mối quan hệ tuyến tính giữa hai biến trong khi giảm ảnh hưởng của ngoại lai ở cả hai bộ dữ liệu.

Mỗi thước đo winsorized này giúp giảm ảnh hưởng của ngoại lai lên phân tích khi làm việc với dữ liệu không chuẩn hoặc bộ dữ liệu có giá trị cực đoan.

Kết luận

Hướng dẫn này giới thiệu một thước đo thống kê để xử lý ngoại lai: trung bình winsorized. Chúng ta đã tìm hiểu khái niệm winsorization, các ứng dụng thực tiễn, và cách triển khai trực tiếp trên một bộ dữ liệu mẫu. Tiếp đó, hướng dẫn đã trình bày trimmed mean, cách triển khai, và điểm khác biệt so với trung bình winsorized. Đồng thời khám phá ưu, nhược điểm và các khái niệm thống kê khác dựa trên winsorization. 

Như đã thấy, trung bình winsorized cân bằng giữa việc loại bỏ và giữ lại ngoại lai, cho phép kết quả đáng tin cậy hơn ở các bộ dữ liệu lệch. Chúng tôi khuyến khích bạn sử dụng kỹ thuật này trong các dự án phân tích dữ liệu, thử nghiệm với các mức winsorization khác nhau để tìm ra mức phù hợp nhất cho từng bộ dữ liệu cụ thể.

Hãy xem khóa học Intermediate Predictive Analytics in Python để tìm hiểu thêm về cách xử lý ngoại lai trong bộ dữ liệu bằng Python, bao gồm cả winsorization. Bạn cũng có thể khám phá lộ trình nghề nghiệp Machine Learning Scientist with Python, đây là cách tuyệt vời để luyện tập bằng cách xây dựng các mô hình thực tế.