Khóa học
Phân tích dữ liệu trong Excel
3 giờ
153.3K
Khi diễn giải dữ liệu, chọn đúng thước đo xu hướng trung tâm có thể quyết định thành bại của phân tích. Trong số các thước đo phổ biến nhất là mean và median—hai khái niệm tưởng như đơn giản nhưng lại có hàm ý sâu sắc trong diễn giải dữ liệu. Trong khi mean cho chúng ta giá trị trung bình cộng, median là điểm ở giữa trong một tập giá trị đã sắp xếp, sao cho một nửa quan sát nằm về mỗi phía. Nhưng thước đo nào đáng tin cậy hơn? Câu trả lời thường phụ thuộc vào phân phối dữ liệu, sự hiện diện của ngoại lệ (outlier), và câu chuyện bạn muốn kể.
Trong bài viết này, tôi sẽ phân tích sự khác biệt giữa mean và median, điểm mạnh và điểm yếu của chúng, và cách chọn thước đo phù hợp cho các kịch bản khác nhau. Tôi cũng sẽ xem xét cách các phân phối lệch và ngoại lệ ảnh hưởng đến các thước đo này, kèm ví dụ thực tiễn và hình minh họa để giúp bạn nắm vững các khái niệm nền tảng. Chúng ta cũng sẽ chạm tới một vài ý tưởng nâng cao.
Định nghĩa Mean và Median
Để hiểu đầy đủ sự khác nhau giữa mean và median, hãy xem từng thước đo và làm rõ các thuộc tính chính của chúng.
Mean là gì?
Mean có thể xem là “điểm cân bằng” (hay tâm khối) của dữ liệu. Nó xem xét tất cả các điểm dữ liệu trong một tập và cung cấp một giá trị duy nhất đại diện cho mức trung bình. Chính xác hơn, mean được tính bằng cách cộng tất cả các giá trị trong tập dữ liệu rồi chia cho số lượng giá trị.
Median là gì?
Median là giá trị ở giữa khi dữ liệu được sắp xếp. Không giống mean, median bền vững hơn trước ngoại lệ, cung cấp thước đo xu hướng trung tâm tốt hơn cho dữ liệu lệch.
Mode là gì?
Mode là một thước đo xu hướng trung tâm khác, biểu thị giá trị xuất hiện thường xuyên nhất trong một tập dữ liệu. Hãy xem ví dụ:
3, 3, 6, 8, 9Ở đây, mode là 3 vì nó xuất hiện hai lần, còn các giá trị khác chỉ xuất hiện một lần.
Cách tính Mean và Median
Đọc định nghĩa là một chuyện, tính toán lại là chuyện khác. Ở phần này, tôi sẽ chia nhỏ các bước tính từng thước đo và nêu bật khác biệt về mặt tính toán.
Cách tìm mean
Mean là trung bình cộng của một tập dữ liệu và được tính như sau:
- Cộng các giá trị: Cộng tất cả các số trong tập dữ liệu của bạn.
- Chia cho tổng số giá trị: Lấy tổng đó chia cho số lượng giá trị.
Quy trình này được biểu diễn bằng công thức tổng quát:
Cách tìm mean. Ảnh: Tác giả
Ví dụ, xét một tập điểm kiểm tra:
78, 85, 92, 88, 70- Bước 1 (Cộng): 78 + 85 + 92 + 88 + 70 = 413
- Bước 2 (Chia): 413 ÷ 5 = 82.6
Điểm mean là 82.6.
Cách tìm median
Median là giá trị giữa của một tập dữ liệu khi sắp xếp tăng dần. Cách tìm như sau:
- Sắp xếp dữ liệu: Sắp xếp giá trị từ nhỏ đến lớn.
- Xác định giá trị giữa: Nếu số lượng giá trị là lẻ, median là giá trị ở giữa; nếu là chẵn, median là trung bình của hai giá trị giữa.
Và đây là các bước đó dưới dạng công thức:
Công thức median. Ảnh: Tác giả
Tôi cũng tạo một hình minh họa để làm nổi bật quy trình.
Cách tìm median. Ảnh: Tác giả
Đây là một tập dữ liệu ví dụ với số lượng giá trị lẻ:
70, 78, 85, 88, 92- Bước 1 (Sắp xếp): Đã được sắp xếp.
- Bước 2 (Giá trị giữa): Giá trị thứ ba là 85.
Median là 85.
Đây là một ví dụ khác, với số lượng giá trị chẵn:
70, 78, 85, 88- Bước 1 (Sắp xếp): Đã được sắp xếp.
- Bước 2 (Trung bình của hai giá trị giữa): (78 + 85) ÷ 2 = 81.5
Median là 81.5.
Vì sao khác biệt này quan trọng: Ngoại lệ và độ lệch
Dù cả mean và median đều mô tả trung tâm của một tập dữ liệu, hành vi của chúng khác biệt đáng kể khi có ngoại lệ và phân phối lệch. Hiểu rõ khác biệt này rất quan trọng để diễn giải dữ liệu chính xác và tránh kết luận sai lệch.
Tác động của ngoại lệ
Ngoại lệ là những giá trị cao hoặc thấp hơn đáng kể so với phần còn lại của dữ liệu. Chúng có thể ảnh hưởng mạnh đến mean nhưng hầu như không ảnh hưởng đến median.
Hãy xét một tập thu nhập theo tháng (đơn vị nghìn):
3, 3.5, 4, 4.5, 5, 6, 50Mean ở đây là 10.85k, bị lệch mạnh do giá trị cực trị 50k.
Ngược lại, median là 4.5k, mà theo tôi, phản ánh điển hình hơn về thu nhập của nhóm này.
Phân phối lệch
Mean và median cũng khác nhau trong cách biểu diễn dữ liệu ở các phân phối lệch (không đối xứng).
Ví dụ, trong các phân phối lệch phải (ví dụ: thu nhập hoặc giá nhà), đa số giá trị tập trung ở phía thấp, với một vài giá trị cực trị kéo đuôi về bên phải.
- Mean: Dịch về phía đuôi, dẫn tới giá trị cao hơn median.
- Median: Giữ gần cụm giá trị điển hình hơn, phản ánh tốt hơn “trường hợp điển hình”.
Xét thu nhập:
30k, 35k, 40k, 45k, 50k, 100k, 200k- Mean: 71.4k (bị kéo lên bởi 100k và 200k).
- Median: 45k (gần với đa số mức thu nhập).
Vì sao điều này quan trọng
- Với dữ liệu lệch: Median thường đại diện tốt hơn cho một điểm dữ liệu “điển hình” vì không bị kéo bởi giá trị cực trị.
- Với dữ liệu đối xứng: Mean và median sẽ gần như giống nhau, nên có thể dùng thước đo nào cũng được.
Một điều bạn nên rút ra là luôn cần kiểm tra phân phối dữ liệu trước khi quyết định dùng mean hay median. Các công cụ như histogram và box plot có thể giúp trực quan hóa độ lệch và xác định ngoại lệ. Chúng ta sẽ đề cập sau. Ngoài ra, tôi muốn nói rằng xem xét sự chênh lệch giữa mean và median là một cách đánh giá độ lệch.
Khi nào dùng Mean và khi nào dùng Median
Khi phân tích dữ liệu, việc chọn mean hay median phụ thuộc vào đặc điểm của tập dữ liệu và insight bạn muốn rút ra. Dưới đây là bảng tham chiếu nhanh để hỗ trợ lựa chọn:
| Khi nào dùng Mean | Khi nào dùng Median |
|---|---|
| Phân phối dữ liệu xấp xỉ chuẩn (đối xứng). | Dữ liệu lệch mạnh (ví dụ: thu nhập, giá bất động sản). |
| Ngoại lệ ít hoặc không liên quan tới phân tích. | Có ngoại lệ và chúng có thể làm sai lệch kết quả nếu tính vào. |
| Bạn cần một thước đo nhạy với mọi điểm dữ liệu, như trong mô hình dự đoán hoặc khi tính tổng. | Bạn muốn phản ánh giá trị “điển hình” hơn là “trung tâm toán học” của tập dữ liệu. |
Một mẹo thực tiễn rất hữu ích: Luôn bắt đầu bằng trực quan hóa dữ liệu (ví dụ: histogram hoặc box plot) để kiểm tra tính đối xứng, độ lệch và sự hiện diện của ngoại lệ. Điều này sẽ giúp bạn quyết định mean hay median phù hợp hơn với bối cảnh của bạn.
Trực quan hóa Mean và Median
Trực quan hóa là công cụ mạnh để hiểu hành vi của mean và median trong các tập dữ liệu khác nhau. Chúng có thể cho thấy rõ cách các thước đo này phản ứng với ngoại lệ và phân phối lệch, giúp đưa ra quyết định dựa trên dữ liệu tốt hơn.
ví dụ biểu đồ cột
Hãy hình dung một tập dữ liệu thu nhập nhỏ (đơn vị nghìn):
30, 35, 40, 45, 50, 55, 1000Biểu đồ cột sau cho thấy một giá trị cực trị có thể ảnh hưởng mạnh đến mean như thế nào, trong khi median tương đối ổn định. Ở đây, đa số điểm dữ liệu nằm trong khoảng 30 đến 55, nhưng sự hiện diện của ngoại lệ (1000) kéo mean lên trên.
Biểu đồ cột minh họa tác động của ngoại lệ lên mean so với median. Ảnh: Tác giả
ví dụ histogram
Trong một phân phối lệch phải (chẳng hạn như thu nhập hoặc giá nhà), mean thường bị kéo về phía đuôi dài của các giá trị cao, trong khi median vẫn gần với điểm dữ liệu “điển hình”. Điều này khiến median trở thành thước đo xu hướng trung tâm tốt hơn trong các trường hợp như vậy.
Histogram dưới đây cho thấy một phân phối thu nhập mô phỏng, trong đó mean (đường gạch đỏ) lớn hơn đáng kể so với median (đường gạch xanh) do độ lệch.
Histogram cho thấy phân phối lệch phải. Ảnh: Tác giả
Bạn có thể nhận thấy độ lệch phải kéo dài phần đuôi, tạo ra khác biệt rõ ràng giữa mean và median.
ví dụ box plot
Box plot là một cách tuyệt vời để trực quan hóa tác động của ngoại lệ lên median. Bên dưới, chúng ta so sánh hai nhóm: một nhóm có ngoại lệ và một nhóm không có. Median (đường thẳng đứng trong hộp) vẫn ổn định ngay cả khi có giá trị cực trị, nhưng phạm vi tổng thể của dữ liệu bị ảnh hưởng mạnh bởi ngoại lệ.
Box plot minh họa tác động của ngoại lệ lên median. Ảnh: Tác giả
Những hình minh họa này làm rõ cách mean và median phản hồi trước các đặc trưng dữ liệu khác nhau, giúp xác định khi nào nên dùng mỗi thước đo. Dù là phân tích dữ liệu lệch, tập dữ liệu dễ có ngoại lệ, hay so sánh nhóm, các công cụ trực quan như vậy giúp nắm bắt mối quan hệ phức tạp dễ dàng hơn nhiều.
Chủ đề nâng cao và thực hành hiện đại
Giờ hãy xem một số ý tưởng nâng cao hơn nếu bạn muốn tìm hiểu sâu.
Thế chỗ bằng mean và median
Nếu bạn là nhà khoa học dữ liệu và cần điền chỗ trống trong dữ liệu, bạn có thể phải chọn một phương pháp thế chỗ (imputation). Lúc này bạn có thể tự hỏi, khác biệt thực tiễn giữa thế chỗ bằng mean so với median là gì?
Như bạn đoán, thế chỗ bằng mean thay giá trị thiếu bằng trung bình của dữ liệu hiện có, và như đã nói, có thể bị lệch bởi giá trị cực trị. Thế chỗ bằng median, ngược lại, thay giá trị thiếu bằng giá trị giữa của tập dữ liệu.
Một kinh nghiệm hữu ích là nhìn vào phân phối dữ liệu. Nếu phân phối dữ liệu lệch với nhiều giá trị thiếu, và bạn dùng thế chỗ bằng mean, bạn có thể đã làm thay đổi phân phối dữ liệu!
Nhưng cũng nhớ rằng thế chỗ bằng một giá trị (mean hoặc median) có thể làm co phương sai và làm suy yếu mối quan hệ giữa các biến. Nếu thiếu dữ liệu ở mức đáng kể, hãy cân nhắc thế chỗ bội (multiple imputation) hoặc thế chỗ dựa trên mô hình để bảo toàn tốt hơn độ bất định và cấu trúc.
Phương pháp tham số và dựa trên hạng
Trong nhiều phương pháp tham số, mean (và phương sai) là các tham số trung tâm. Ví dụ, một mô hình hồi quy tuyến tính đơn giả định sai số phân phối chuẩn quanh mean. Khi dữ liệu của bạn thỏa giả định chuẩn, mean mẫu là ước lượng tự nhiên và phù hợp với khung tham số.
Còn median thường dùng trong bối cảnh bền vững và phi tham số, và là lựa chọn phổ biến khi dữ liệu lệch hoặc có ngoại lệ. Nhiều kiểm định, như kiểm định Mann–Whitney, dựa trên hạng và so sánh các phân phối (thường được diễn giải là dịch chuyển vị trí dưới một số giả định) chứ không phải mean, và không phải lúc nào cũng kiểm định sự khác biệt về median.
Tất cả điều này cho thấy việc hiểu rõ khác biệt giữa mean và median không chỉ để mô tả dữ liệu đúng, mà còn quan trọng trong kiểm định giả thuyết.
Độ ổn định bootstrap cho mean và median
Khi quyết định dùng mean hay median, một câu hỏi then chốt là thống kê của chúng ổn định thế nào với một tập dữ liệu cho trước. Bootstrapping là một lựa chọn cho phép ước lượng thực nghiệm phân phối lấy mẫu của cả mean và median bằng cách lặp lại việc lấy mẫu lại (có hoàn nguyên) từ dữ liệu gốc.
Bạn có thể làm nổi bật khác biệt về độ ổn định của mean và median một cách thực nghiệm. Bạn có thể đưa vào vài ngoại lệ trong một tập dữ liệu rồi chạy lại quy trình bootstrap, nhờ đó trực quan cho thấy phân phối của mean dịch chuyển mạnh hơn đáng kể so với median. Ngoài ra, bootstrapping có thể giúp cụ thể hóa bằng cách cho thấy khoảng tin cậy của bạn lớn hay nhỏ trong các kịch bản thực tế. Đọc hướng dẫn của chúng tôi về áp dụng phương pháp bootstrap để tìm hiểu thêm.
Sai số bình phương và sai số tuyệt đối
Tôi xin đưa ra một định nghĩa thay thế nhưng vẫn đúng: Mean là giá trị tối thiểu hóa tổng bình phương sai lệch so với dữ liệu, trong khi median là giá trị tối thiểu hóa tổng sai lệch tuyệt đối.
Hãy xem phương trình này:
Nếu bạn lấy đạo hàm của phương trình này theo , cho bằng không, rồi giải, bạn sẽ thấy giá trị cực tiểu chính là trung bình cộng. Điều này quan trọng vì trong nhiều phương pháp thống kê, như hồi quy OLS, chúng ta tối thiểu hóa sai số bình phương vì thuận tiện toán học và phù hợp với giả định sai số phân phối chuẩn.
Giờ hãy xem một ý tưởng khác: Thay vì bình phương mỗi sai lệch, ta đo độ lệch tuyệt đối giữa m và từng điểm dữ liệu:
Ở đây ta muốn tìm m sao cho tổng độ lệch tuyệt đối này là nhỏ nhất. Hóa ra (bằng cách phân tích đạo hàm của hàm mất mát tuyệt đối, hoặc bằng lập luận hình học) nghiệm chính là median của tập dữ liệu. (Và khi số quan sát là chẵn, bất kỳ giá trị nào nằm giữa hai điểm giữa đều tối thiểu hóa tổng độ lệch tuyệt đối—vì vậy nghiệm có thể không duy nhất.)
Trực giác là, nếu nằm bên trái median, sẽ có nhiều điểm dữ liệu ở bên phải kéo nó dịch sang. Chỉ tại median, lực kéo từ trái và phải cân bằng, tối thiểu tổng khoảng cách tuyệt đối.
Mean và median ở quy mô lớn
Cuối cùng, có thể nói mean đơn giản hơn về tính toán ở quy mô lớn. Nghĩa là bạn có thể tính dần trong khi dữ liệu chảy vào, không cần sắp xếp.
Trong thực tế, median thường được tính bằng cách sắp xếp, điều này có thể tốn kém ở quy mô lớn. Nhưng median không nhất thiết đòi hỏi sắp xếp toàn phần (có các thuật toán chọn), và với các tập rất lớn hoặc dữ liệu dòng, các thuật toán phác thảo bách phân vị xấp xỉ thường được dùng để ước lượng median hiệu quả.Khóa học Concepts in Computer Science của chúng tôi là nguồn tuyệt vời để học về những điều này.
Bước tiếp theo
Như bạn đã thấy, mean là trung bình cộng của một tập dữ liệu, vì thế nhạy cảm với giá trị cực trị, trong khi median là giá trị giữa trong một tập đã sắp xếp. Lựa chọn đúng có thể tạo khác biệt lớn, nhưng nói vậy, trong các phân tích thực tế, thường tốt nhất là báo cáo cả mean và median cùng với các thống kê bổ sung như mode, độ lệch chuẩn và các bách phân vị. Đây là cách tốt nhất vì nó cung cấp bức tranh toàn diện.
Nếu bạn muốn đào sâu hơn vào các khái niệm thống kê, có một số mảng đáng để tập trung. Hãy bắt đầu bằng việc đọc về các biến thể nâng cao của mean, như trimmed mean, geometric mean, và mean có trọng số, mỗi loại đều có mục đích riêng. Tôi cũng khuyên bạn học khóa Introduction to Statistics không phụ thuộc công nghệ của chúng tôi.
Sau đó, để thật sự trở nên chuyên sâu, bạn sẽ muốn chọn và làm chủ một công cụ. Khóa Introduction to Statistics in R và lộ trình nghề nghiệp Statistician in R đều là điểm khởi đầu rất hữu ích nếu bạn muốn dùng R, một ngôn ngữ phổ biến cho khoa học dữ liệu và thống kê. Nếu bạn thích làm việc với bảng tính và một ngôn ngữ lập trình như Python, các khóa Introduction to Statistics in Google Sheets và Introduction to Statistics in Python mang đến cách tiếp cận thực hành với phân tích thống kê bằng công thức và các thư viện mạnh mẽ.
