Phân phối Lognormal: Định nghĩa, Tính chất và Ứng dụng

Hãy nghĩ về dữ liệu thu nhập. Một số ít người kiếm hàng triệu, phần lớn ở khoảng giữa, và phân phối có một đuôi dài kéo về bên phải. Vẽ nó lên cùng đường cong hình chuông tiêu chuẩn sẽ không khớp vì phân phối chuẩn không phù hợp.

Phân phối lognormal được xây dựng cho các biến luôn dương và lệch phải, nơi độ phân tán tăng theo giá trị. Thu nhập hộ gia đình, giá cổ phiếu, kích thước tệp và các phép đo sinh học đều có hành vi như vậy.

Chúng ta sẽ đề cập phân phối lognormal là gì, so sánh với phân phối chuẩn ra sao, các tính chất và công thức then chốt, khi nào nên dùng, và cách nhận diện trong dữ liệu thực tế, bao gồm một số sai lầm thường gặp.

Phân phối lognormal là gì?

Một biến ngẫu nhiên tuân theo phân phối lognormal nếu logarit tự nhiên của nó tuân theo phân phối chuẩn.

Nếu X có phân phối lognormal, thì ln(X) là chuẩn. Tên gọi xuất phát trực tiếp từ đây: log-normal, một phân phối mà log của nó là chuẩn.

Hai điều kéo theo ngay. Thứ nhất, các giá trị luôn dương. Logarit chỉ xác định cho số dương, nên biến lognormal không thể bằng 0 hay âm. Thứ hai, phân phối lệch phải. Có cận dưới vật lý tại 0 nhưng không có cận trên, nghĩa là đuôi phải kéo dài xa hơn nhiều so với đuôi trái.

Biến đổi logarit là chìa khóa kết nối hai phân phối. Lấy một biến có phân phối lognormal, áp dụng log tự nhiên cho mọi quan sát, kết quả là dữ liệu có phân phối chuẩn. Đây không chỉ là một điều thú vị về mặt toán. Nó khiến lognormal trở nên khả dụng: toàn bộ công cụ thống kê xây dựng cho phân phối chuẩn đều có thể dùng sau khi bạn biến đổi dữ liệu.

Phân phối lognormal so với phân phối chuẩn

Điểm khác biệt trực quan nhất là hình dạng. Phân phối chuẩn đối xứng, với trung bình, trung vị và mốt trùng nhau tại tâm. Phân phối lognormal bất đối xứng, lệch phải, có đuôi phải dài. Trung bình, trung vị và mốt đều khác nhau. Chúng ta sẽ nói vì sao ở phần sau.

Miền giá trị khả dĩ cũng khác. Phân phối chuẩn kéo dài từ âm vô cực đến dương vô cực. Phân phối lognormal bị chặn dưới bởi 0 và kéo dài lên vô hạn. Điều này khiến nó là mô hình đúng khi biến của bạn về mặt vật lý không thể âm.

Hàng cuối cùng là quan trọng nhất trong thực tế. Lấy log của một biến có phân phối lognormal sẽ cho ra phân phối chuẩn. Biến đổi này làm cho lognormal hữu dụng. Nó không chỉ mô tả dữ liệu lệch; đó là một mô hình có cây cầu trực tiếp quay về thế giới chuẩn.

Các tính chất của phân phối lognormal

Có một vài tính chất then chốt của phân phối lognormal khiến nó đặc biệt. 

Luôn dương với đuôi phải dài

Phân phối lognormal chỉ tạo ra các giá trị dương. Nếu ln(X) là chuẩn, thì X = e^(ln(X)) luôn dương, vì hàm mũ luôn dương. Có một sàn tại 0, nhưng không có trần. Kết hợp với lệch phải, điều này tạo nên hình dạng đặc trưng: tăng vọt từ 0, đạt đỉnh đâu đó bên trái trung bình, rồi đuôi dài dần mỏng.

Trung bình, trung vị và mốt đều khác nhau

Ba thước đo trung tâm kể những câu chuyện khác nhau. Mốt (giá trị xuất hiện nhiều nhất) nằm lệch trái nhất. Trung vị cao hơn. Trung bình (bình quân số học) còn cao hơn nữa, bị kéo lên bởi đuôi phải. Trong dữ liệu thu nhập, thu nhập hộ gia đình trung bình cao hơn đáng kể so với trung vị. Một số người thu nhập cực cao đẩy bình quân lên trong khi phần giữa của phân phối không đổi. Vì vậy các nhà kinh tế thường báo cáo trung vị khi mô tả hộ gia đình điển hình. Chọn sai thước đo trung tâm ở đây không chỉ là thống kê cẩu thả; nó còn gây hiểu lầm.

Hãy ghi nhớ điều này khi đến phần công thức: μ và σ mô tả phân phối chuẩn cơ sở của ln(X), không phải trung bình và độ lệch chuẩn của chính X. Sự khác biệt này thường khiến nhiều người bất ngờ.

Công thức phân phối lognormal

Hàm mật độ xác suất (PDF) của phân phối lognormal là:

với x > 0, trong đó:

• x là giá trị của biến ngẫu nhiên (phải dương)
• μ (mu) là trung bình của ln(X). Nó kiểm soát vị trí của phân phối—tăng μ sẽ đẩy đỉnh sang phải.
• σ (sigma) là độ lệch chuẩn của ln(X). Nó kiểm soát độ phân tán và mức độ lệch. σ lớn hơn tạo ra đuôi phải nặng hơn.

μ và σ không phải là trung bình và độ lệch chuẩn của chính X. Chúng là tham số của ln(X). Trung bình thực của X là e^{(μ + σ²/2)}, đó là lý do nó nằm về bên phải trung vị. Nếu bạn khớp lognormal cho dữ liệu trong Python hoặc R, các hàm thư viện sẽ xử lý phép chuyển đổi này, nhưng đáng để biết các tham số thực sự biểu thị điều gì.

Khi nào bạn nên dùng phân phối lognormal?

Bài kiểm tra thực tiễn: nếu biến của bạn luôn dương và quá trình tăng trưởng mang tính nhân chứ không phải cộng, lognormal có thể là lựa chọn phù hợp.

Các quá trình cộng thường tạo ra phân phối chuẩn. Theo định lý giới hạn trung tâm, tổng của nhiều tác động ngẫu nhiên nhỏ hội tụ về chuẩn. Các quá trình nhân thì khác. Khi giá trị mỗi kỳ bằng giá trị kỳ trước nhân với một thừa số ngẫu nhiên (lãi kép, vi khuẩn nhân đôi), kết quả qua nhiều kỳ là lognormal. Đây là lý do lognormal xuất hiện thường xuyên trong tài chính và sinh học.

Lognormal phù hợp với các biến như:

• Lợi nhuận tài chính trong các khoảng thời gian dài—lợi nhuận log theo ngày ghép nhân
• Bồi thường bảo hiểm—đa số nhỏ; một số ít rất lớn
• Phân phối thu nhập—bị chặn dưới bởi 0, thực tế lệch phải
• Tăng trưởng sinh học—kích thước sinh vật, số lượng tế bào, nồng độ đo lường
• Thời gian chờ—thời gian sửa chữa và phục vụ với những ngoại lai thỉnh thoảng
• Các phép đo môi trường—nồng độ chất ô nhiễm trong nước hoặc không khí

Nếu bạn không chắc lognormal có phù hợp không, khóa Feature Engineering for Machine Learning in Python của chúng tôi đề cập sâu về biến đổi log, bao gồm cách đánh giá xem một biến đổi có phù hợp với dữ liệu của bạn hay không.

Ví dụ thực tế về phân phối lognormal

Phân phối lognormal xuất hiện trong nhiều tình huống đời thực, một vài trong số đó được nêu dưới đây. 

Thu nhập và tài sản

Dữ liệu thu nhập là ví dụ kinh điển về lognormal. Phần lớn mọi người có thu nhập tập trung trong một khoảng vừa phải, nhưng không có cận trên—một số ít cá nhân kiếm nhiều hơn trung vị hàng bậc độ lớn. Vẽ thu nhập hộ gia đình thô bạn sẽ được biểu đồ tần suất lệch phải rõ nét; lấy log thì trông xấp xỉ chuẩn. Dữ liệu tài sản thể hiện cùng mẫu hình, thường với độ lệch rõ hơn.

Giá cổ phiếu

Thay đổi giá cổ phiếu theo ngày xấp xỉ phân phối chuẩn ở dạng log, nghĩa là mức giá tự nó tuân theo phân phối lognormal theo thời gian. Giả định này là nền tảng của mô hình định giá quyền chọn Black-Scholes. Giá cổ phiếu không thể xuống dưới 0, tăng trưởng theo lãi kép, và tạo ra đuôi phải đặc trưng đó.

Kích thước tệp Internet

Kích thước tệp trải dài trên phạm vi rất lớn, từ vài kilobyte đến nhiều gigabyte, và phân phối lệch phải nặng. Lognormal phù hợp vì kích thước tệp bị chặn dưới bởi 0 và tăng theo kiểu nhân. Phân tích lưu lượng web và kỹ thuật mạng dựa vào điều này.

Các phép đo sinh học

Nồng độ các chất sinh học (mức hormone, nồng độ chất ô nhiễm trong mô, số lượng vi sinh) có xu hướng tuân theo phân phối lognormal. Các quá trình sinh học thường liên quan đến tỷ lệ và tốc độ tăng trưởng hơn là gia số cộng. Thời gian trễ trong các nghiên cứu y khoa cũng cho thấy mẫu hình tương tự.

Trong mỗi lĩnh vực này, logic đều giống nhau: một quá trình mang bản chất nhân, bị chặn tại 0, và có thể tạo ra các giá trị cực đoan hiếm gặp là ứng viên tự nhiên cho mô hình lognormal.

Phân phối lognormal trong Học máy và Khoa học dữ liệu

Phân phối lognormal xuất hiện trong học máy theo vài cách khác nhau, mỗi cách cần xử lý hơi khác.

Mô hình hóa các biến liên tục dương

Khi biến mục tiêu luôn dương và lệch phải—giá nhà, doanh thu, giá trị vòng đời người dùng—áp dụng biến đổi log trước khi mô hình hóa thường cải thiện kết quả đáng kể. Hồi quy tuyến tính giả định phần dư có phân phối chuẩn; khớp nó với dữ liệu lognormal thô vi phạm giả định đó. Cách khắc phục: lấy log biến mục tiêu, khớp mô hình, rồi mũ hóa dự đoán trở lại thang đo gốc. Lưu ý: diễn giải hệ số ở không gian log cần cẩn trọng, vì một đơn vị tăng của biến giải thích giờ tương ứng với thay đổi nhân trên thang đo gốc.

Kỹ thuật đặc trưng với biến đổi log

Biến đổi log các đặc trưng lệch trước khi đưa vào các mô hình nhạy thang đo (hồi quy tuyến tính, hồi quy logistic, k-means) giúp giảm ảnh hưởng của giá trị cực đoan và làm mối quan hệ tuyến tính hơn. Đây là tiền xử lý tiêu chuẩn cho các đặc trưng liên tục lệch phải. Biến đổi cũng xử lý ngoại lai một cách ngầm: một giá trị gấp 100 lần trung vị ở không gian thô chỉ còn khoảng 4,6 đơn vị trên trung vị ở không gian log.

Mô hình xác suất và mô phỏng

Một số mô hình xác suất sử dụng phân phối lognormal một cách tường minh. Trong mô hình Bayesian, nó là prior phổ biến cho các tham số phải dương. Trong mô phỏng, nó mô hình hóa các đại lượng như thời gian sửa chữa, kích thước bồi thường, và độ trễ mạng nơi cấu trúc nhân phù hợp với quá trình thực tế. Những điều này xuất hiện thường xuyên trong công việc ứng dụng.

Cách nhận diện phân phối lognormal

Nhìn chằm chằm vào biểu đồ tần suất là chưa đủ. Dưới đây là các cách thực sự hiệu quả, theo mức độ chặt chẽ tăng dần.

Biểu đồ tần suất và biểu đồ tần suất sau khi log

Bắt đầu với biểu đồ tần suất của dữ liệu thô. Nếu nó lệch phải với đuôi dài và cận dưới gần 0, đó là gợi ý. Sau đó vẽ biểu đồ tần suất của các giá trị đã log. Nếu biểu đồ đó trông xấp xỉ đối xứng và hình chuông, lognormal là mô hình hợp lý. So sánh hai biểu đồ này rất nhanh. Nhưng đừng dừng ở đây.

Q-Q plot

Một biểu đồ quantile-quantile (Q-Q) so sánh các quantile của dữ liệu bạn với quantile của một phân phối lý thuyết. Với dữ liệu lognormal, vẽ quantile của ln(X) so với quantile của chuẩn tắc. Các điểm nằm xấp xỉ trên một đường thẳng cho thấy sự phù hợp tốt. Độ cong có hệ thống, đặc biệt ở đuôi, gợi ý lognormal chưa chuẩn. Hướng dẫn về Q-Q plot của chúng tôi trình bày cách đọc và diễn giải chúng cả trong Python và R.

Kiểm định mức độ phù hợp

Để kiểm định chính thức, hãy áp dụng kiểm định chuẩn tính (Shapiro-Wilk, Kolmogorov-Smirnov, Anderson-Darling) cho dữ liệu đã log. Nếu ln(X) vượt qua, bạn có bằng chứng thống kê ủng hộ mô hình lognormal. Tuy nhiên, với tập dữ liệu rất lớn, các kiểm định này trở nên nhạy đến mức bác bỏ lognormal chỉ vì sai khác rất nhỏ. Luôn kết hợp kiểm định chính thức với quan sát trực quan.

Sử dụng cả ba cách cùng nhau sẽ cho bức tranh đáng tin cậy hơn nhiều so với từng cách riêng lẻ.

Sai lầm thường gặp khi làm việc với dữ liệu lognormal

Một vài lỗi phổ biến mà nhiều người thực hành hay mắc phải được nêu ở đây. 

Giả định dữ liệu có phân phối chuẩn

Đây là lỗi thường gặp nhất. Khớp phân phối chuẩn cho dữ liệu lognormal sẽ đánh giá thấp xác suất của các giá trị cực đoan, làm sai lệch ước lượng trung bình, và có thể khiến các kiểm định thống kê không đáng tin. Nếu dữ liệu của bạn dương và lệch phải, hãy kiểm tra trước khi dùng phân phối chuẩn.

Diễn giải sai trung bình số học

Với dữ liệu lognormal, trung bình số học bị kéo cao hơn đáng kể so với trung vị bởi đuôi phải. Báo cáo trung bình là "điển hình" là gây hiểu nhầm. Trung vị thường là thước đo tốt hơn cho một quan sát điển hình. Hãy rõ ràng về thước đo bạn báo cáo và lý do.

Quên rằng các giá trị phải dương

Phân phối lognormal không xác định cho giá trị bằng 0 hoặc âm. Nếu bộ dữ liệu của bạn có số 0—phổ biến trong dữ liệu đếm hoặc doanh số với giai đoạn không hoạt động—lognormal không áp dụng trực tiếp. Các cách xử lý thường thấy gồm cộng một hằng số nhỏ trước khi lấy log (không lý tưởng về mặt thống kê) hoặc dùng mô hình thổi phồng số 0 xử lý riêng phần số 0.

Áp dụng kiểm định thống kê không phù hợp

Các kiểm định thiết kế cho dữ liệu có phân phối chuẩn (t-test, khoảng tin cậy chuẩn, ANOVA) không áp dụng trực tiếp cho dữ liệu lognormal. Bạn có hai lựa chọn: lấy log dữ liệu và áp dụng các phương pháp dựa trên chuẩn, hoặc dùng phương pháp phi tham số không giả định hình dạng. Dùng sai kiểm định không phải lúc nào cũng cho kết quả sai trầm trọng, nhưng có thể tạo ra sai lệch tinh vi khó phát hiện.

Kết luận

Phân phối lognormal mô hình hóa các biến dương, lệch phải bằng cách nối chúng với phân phối chuẩn thông qua biến đổi logarit. Khi bạn nhận ra rằng ln(X) là chuẩn bất cứ khi nào X là lognormal, phần còn lại sẽ theo sau. Bạn có thể làm việc trong không gian log bằng các công cụ chuẩn, rồi chuyển kết quả về thang đo gốc.

Chúng ta đã điểm qua các tính chất then chốt của phân phối, truy nguyên chúng về biến đổi đó, và xem nó xuất hiện ở đâu trong thực tế. Kết luận thực tiễn rất rõ ràng: trước khi mô hình hóa dữ liệu dương, lệch phải, hãy kiểm tra tính lognormal. Vẽ dữ liệu đã log, chạy kiểm định chuẩn tính trên đó, và xem Q-Q plot. Khóa Introduction to Statistics in Python và hướng dẫn Probability Distributions in Python của chúng tôi là những bước tiếp theo tốt nếu bạn muốn thấy các ý tưởng này áp dụng vào bộ dữ liệu thực.