Tìm hiểu độ lệch và độ nhọn (skewness, kurtosis) và cách trực quan hóa chúng

Độ nhọn (Kurtosis) là gì và các loại của nó?

Trong khi độ lệch tập trung vào độ lan rộng (đuôi) của phân phối chuẩn, độ nhọn tập trung nhiều hơn vào chiều cao. Nó cho biết phân phối chuẩn (hoặc giống chuẩn) của ta nhọn hay phẳng đến mức nào. Thuật ngữ này, có nghĩa là cong hoặc vòm trong tiếng Hy Lạp, lần đầu được đặt ra bởi, không ngạc nhiên, nhà toán học người Anh Karl Pearson (người dành cả đời nghiên cứu các phân phối xác suất).

Độ nhọn cao cho thấy:

• Đỉnh nhọn ở trung tâm phân phối.
• Nhiều giá trị tập trung quanh trung bình hơn so với phân phối chuẩn.
• Đuôi nặng hơn do tập trung nhiều giá trị cực trị hoặc ngoại lệ ở đuôi.
• Khả năng xảy ra các sự kiện cực đoan lớn hơn.

Ngược lại, độ nhọn thấp cho thấy:

• Đỉnh phẳng.
• Ít giá trị tập trung quanh trung bình hơn, nhưng vẫn nhiều hơn phân phối chuẩn.
• Đuôi nhẹ hơn.
• Khả năng xảy ra sự kiện cực đoan thấp hơn.

Tùy theo mức độ, các phân phối có ba loại độ nhọn:

1. Mesokurtic (kurtosis = 3, excess kurtosis = 0): phân phối chuẩn hoàn hảo hoặc rất gần với nó.
2. Leptokurtic (kurtosis > 3, excess kurtosis > 0): đỉnh nhọn, đuôi nặng
3. Platykurtic (kurtosis < 3, excess kurtosis < 0): đỉnh phẳng, đuôi nhẹ

Lưu ý rằng ở đây, độ nhọn dư (excess kurtosis) được định nghĩa là kurtosis - 3, coi độ nhọn của phân phối chuẩn là 0. Cách này khiến điểm số độ nhọn dễ diễn giải hơn.

Cách tính độ nhọn trong Python

Bạn có thể tính độ nhọn trong Python tương tự như độ lệch bằng pandas hoặc SciPy:

from scipy.stats import kurtosis

kurtosis(diamond_prices)
2.177382669056634

Pandas cung cấp hai hàm cho độ nhọn: kurt và kurtosis. Cái đầu dành riêng cho Series của Pandas, còn cái sau có thể dùng trên DataFrame.

diamond_prices.kurt()
2.17769575924869

# Select numeric features and calculate kurtosis
diamonds.select_dtypes(include="number").kurtosis()
carat     1.256635
depth     5.739415
table     2.801857
price     2.177696
x        -0.618161
y        91.214557
z        47.086619
dtype: float64

Một lần nữa, các con số khác nhau do pandas và SciPy dùng công thức khác nhau.

Nếu bạn muốn tính thủ công độ nhọn, có thể dùng công thức sau:

Trong đó:

• n là số quan sát trong tập dữ liệu
• x_i biểu thị từng điểm dữ liệu riêng lẻ

Ta sẽ hiện thực công thức trong một hàm như trước:

def moment_based_kurtosis(distribution):
   n = len(distribution)
   mean = np.mean(distribution)
   std = np.std(distribution)

   kurtosis = (1 / n) * sum(((distribution - mean) / std) ** 4) - 3

   return kurtosis

>>> moment_based_kurtosis(diamond_prices)
2.1773826690576463

Và ta thấy giá kim cương có độ nhọn dư là 2.18, nghĩa là nếu vẽ phân phối, nó sẽ có đỉnh nhọn hơn phân phối chuẩn.

Vậy hãy cùng vẽ!

Trực quan hóa độ lệch và độ nhọn trong Python

Một trong những biểu đồ tốt nhất để nhìn hình dạng và do đó cả độ lệch lẫn độ nhọn của phân phối là biểu đồ ước lượng mật độ nhân (KDE). Nó có sẵn trong Seaborn:

import matplotlib.pyplot as plt

sns.kdeplot(diamond_prices)

plt.title("KDE plot of diamond prices")
plt.xlabel("Price ($)")

Biểu đồ này phù hợp với các con số ta đã thấy: phân phối có đuôi phải dài, biểu thị độ lệch dương, và có đỉnh rất nhọn, tương ứng với độ nhọn cao.

KDE không phải lựa chọn duy nhất để xem hình dạng. Ta cũng có thể dùng biểu đồ tần suất (histogram):

sns.histplot(diamonds["carat"])

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Nhược điểm của histogram là bạn phải tự chọn số lượng “bins” (số cột). Ở đây có quá nhiều cột gây nhiễu thị giác — ta không thể xác định rõ hình dạng. Vậy hãy giảm số bins:

sns.histplot(diamonds["carat"], bins=25)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Giờ hình dạng rõ ràng hơn nhưng vẫn có thể cải thiện. Bằng cách đặt kde=True trong histplot, ta có thể vẽ thêm KDE chồng lên các cột:

sns.histplot(diamonds["carat"], bins=25, kde=True)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

Đường KDE chồng lên trông răng cưa, không phải đường cong mượt giúp ta thấy hình dạng tổng quát. Lý do là phân phối carat vốn dĩ nhiều gai và xa phân phối chuẩn.

Tuy nhiên, ta có thể giảm độ nhạy của KDE với các dao động này bằng cách điều chỉnh băng thông. Làm điều này bằng tham số bw_adjust, mặc định là 1:

# Change the bandwidth from 1 to 3
sns.kdeplot(diamonds["carat"], bw_adjust=3, color="red")

plt.title("KDE of diamond carats");

Phiên bản này ít gai hơn nhiều so với KDE chồng lên. Để điều chỉnh băng thông KDE khi dùng histogram chồng KDE, bạn có thể dùng tham số kde_kws:

ax = sns.histplot(
   diamonds["carat"],
   kde=True,
   kde_kws=dict(bw_adjust=3),
   bins=25,
)

plt.title("An overlaid histogram of diamond carats");

kde_kws chấp nhận mọi tham số mà hàm kdeplot hỗ trợ để điều khiển việc tính KDE.

Một mẹo khi vẽ KDE là loại bỏ mọi thứ ngoại trừ đường KDE. Vì mục đích chính của KDE là xem hình dạng phân phối, các chi tiết khác như vạch chia trục, khung viền và nhãn đôi khi không cần thiết:

sns.kdeplot(diamond_prices, color="red")

# Remove the spine from three sides
sns.despine(top=True, right=True, left=True)

# Remove the ticks and ticklabels
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")

# Set a title
plt.title("Diamond prices", fontdict=dict(fontsize=20));

Biểu đồ này gọn gàng hơn nhiều. Bạn có thể cải thiện thêm bằng cách thêm các đường biểu thị vị trí trung bình, trung vị và mode:

sns.kdeplot(diamond_prices, color="red")

sns.despine(top=True, right=True, left=True)
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")
plt.title("Diamond prices", fontdict=dict(fontsize=20))

# Find the mean, median, mode
mean_price = diamonds["price"].mean()
median_price = diamonds["price"].median()
mode_price = diamonds["price"].mode().squeeze()

# Add vertical lines at the position of mean, median, mode
plt.axvline(mean_price, label="Mean")
plt.axvline(median_price, color="black", label="Median")
plt.axvline(mode_price, color="green", label="Mode")

plt.legend();

Biểu đồ này kiểm chứng những gì ta đã bàn ở phần các loại độ lệch: trong một phân phối lệch dương, trung bình cao hơn trung vị, và mode thấp hơn cả trung bình lẫn trung vị.

Kết luận

Độ lệch và độ nhọn, thường bị bỏ qua trong EDA, lại hé lộ những hiểu biết quan trọng về bản chất của các phân phối.

Độ lệch cho biết xu hướng nghiêng của dữ liệu, lệch trái hay phải, bộc lộ sự bất đối xứng (nếu có). Lệch dương nghĩa là đuôi kéo dài về bên phải, còn lệch âm thì ngược lại.

Độ nhọn nói về đỉnh và đuôi. Độ nhọn cao làm đỉnh nhọn hơn và đuôi nặng hơn, trong khi độ nhọn thấp khiến dữ liệu dàn trải, đuôi nhẹ hơn.

Nếu bạn muốn tìm hiểu sâu hơn về độ lệch và độ nhọn, bạn có thể xem các khóa học phân tích định lượng xuất sắc do các chuyên gia trong ngành giảng dạy trên DataCamp:

• Quản lý rủi ro danh mục đầu tư bằng Python
• Nhập môn Phân tích danh mục đầu tư bằng Python