Đường cong Lorenz: Cách trực quan hóa bất bình đẳng hiệu quả

Bất bình đẳng là một chủ đề ảnh hưởng đến hầu hết mọi khía cạnh của cuộc sống: thu nhập, tài sản, sức khỏe, giáo dục, và thậm chí cả cách tài nguyên được phân bổ trong các hệ sinh thái. Nhưng chúng ta thực sự đo lường nó như thế nào? Một trong những công cụ mạnh mẽ để trực quan hóa bất bình đẳng mà tôi tìm thấy là đường cong Lorenz.

Mặc dù thường được dùng để đo lường bất bình đẳng thu nhập, đường cong Lorenz không chỉ dành cho các nhà kinh tế. Theo thời gian, nó đã trở thành một công cụ linh hoạt dùng để xem xét chênh lệch trong chăm sóc sức khỏe, nghiên cứu đa dạng sinh học, và thậm chí trong học máy để đánh giá mức độ công bằng của các mô hình dự đoán. Với các nhà khoa học dữ liệu, đây là cách tuyệt vời để kể câu chuyện về bất bình đẳng trong một tập dữ liệu.

Trong hướng dẫn này, tôi sẽ chỉ cho bạn cách đường cong Lorenz hoạt động. Chúng ta sẽ thảo luận cách tạo nó với dữ liệu của bạn bằng Python, và bạn sẽ học cách sử dụng nó trong các dự án của riêng mình. Nếu bạn quan tâm đến việc định lượng bất bình đẳng thu nhập, phân tích phân khúc khách hàng, hoặc khảo sát phân bổ tài nguyên, đường cong Lorenz có thể giúp bạn truyền đạt những ý tưởng phức tạp này bằng một hình ảnh đơn giản.

Tìm hiểu đường cong Lorenz

Đường cong Lorenz được nhà kinh tế học Max O. Lorenz giới thiệu vào năm 1905. Cách thức hoạt động là so sánh phân phối thực tế của một nguồn lực với một đường bình đẳng hoàn hảo giả định (một đường mà mọi người đều có lượng như nhau). Đường cong càng lệch xa đường bình đẳng hoàn hảo, thì mức độ bất bình đẳng trong phân phối của nguồn lực đó càng lớn.

Cấu trúc của đường cong Lorenz

Đường cong Lorenz có cấu trúc đơn giản. Trên trục hoành (x), chúng ta vẽ tỷ phần tích lũy của dân số, bắt đầu từ người nghèo nhất đến người giàu nhất. Trục tung (y) thể hiện tỷ phần tích lũy của nguồn lực được đo lường.

Tiếp theo, chúng ta cần thêm đường bình đẳng hoàn hảo, là một đường chéo chạy từ góc dưới bên trái đến góc trên bên phải. Đường này biểu thị kịch bản mọi người đều có phần bằng nhau của nguồn lực mà chúng ta quan tâm.

Bản thân đường cong Lorenz hiển thị phân phối thực tế của nguồn lực. Đường cong càng võng xa khỏi đường bình đẳng hoàn hảo thì mức độ bất bình đẳng nó biểu thị càng lớn.

Cách diễn giải đường cong Lorenz

Nếu đường cong Lorenz gần với đường chéo của bình đẳng hoàn hảo, điều đó có nghĩa là nguồn lực được phân bổ khá đồng đều. Ví dụ, trong một xã hội mà 50% dân số dưới cùng nắm khoảng 50% thu nhập, đường cong Lorenz sẽ gần với đường chéo hơn. Đường cong nông này cho thấy mức bất bình đẳng thấp.

Ngược lại, nếu đường cong võng xa khỏi đường chéo, điều đó cho thấy bất bình đẳng cao. Điều này có thể xảy ra nếu, chẳng hạn, 50% dân số dưới cùng chỉ có 10% thu nhập trong khi 10% trên cùng có phần còn lại.

Cách dựng một đường cong Lorenz

Hãy cùng đi qua việc dựng một đường cong Lorenz bằng một ví dụ đơn giản. Hình dung chúng ta đang phân tích phân phối thu nhập của một quần thể nhỏ. 

Bước 1: Sắp xếp dữ liệu

Bước đầu tiên là sắp xếp dữ liệu theo thứ tự tăng dần. Với ví dụ này, giả sử chúng ta có các giá trị thu nhập cho năm cá nhân trong quần thể: $20, $30, $50, $80, $100.

Chúng ta sẽ sắp xếp các giá trị này từ nhỏ đến lớn. Điều này đảm bảo các tỷ lệ phần trăm tích lũy tính sau đó có ý nghĩa. Dưới đây là bảng đã sắp xếp:

Tiếp theo, chúng ta tính phần trăm tích lũy cho cả dân số (trục x) và thu nhập (trục y).

• Với phần trăm dân số tích lũy, chia vị trí của mỗi cá nhân trong danh sách đã sắp xếp cho tổng số cá nhân. Ví dụ, cá nhân đầu tiên đại diện cho 1/5 (hoặc 20%) dân số, người thứ hai đại diện cho 2/5 (40%), v.v.
• Với phần trăm thu nhập tích lũy, cộng dồn thu nhập và chia mỗi tổng tích lũy cho tổng thu nhập chung. Trong ví dụ này, tổng thu nhập là $280, nên thu nhập của cá nhân đầu tiên ($20) chiếm 20/280 (khoảng 7,14%), và hai cá nhân đầu tiên cùng nhau chiếm (20 + 30)/280 (khoảng 17,86%).

Dưới đây là bảng đã cập nhật với phần trăm tích lũy:

Bước 3: Vẽ phân phối tích lũy

Giờ chúng ta đã có phần trăm tích lũy, có thể vẽ chúng trên đồ thị. 

Trục x biểu thị tỷ phần tích lũy của dân số, và trục y biểu thị tỷ phần tích lũy của thu nhập. Mỗi hàng trong bảng tương ứng với một điểm trên đồ thị. Sau khi đặt các điểm, hãy nối chúng để tạo thành đường cong Lorenz. Sau đó, thêm đường bình đẳng hoàn hảo.

Bước 4: Diễn giải đường cong Lorenz

Đường cong Lorenz thu được cho thấy phân phối thu nhập thực tế trong quần thể này. Đường cong càng võng xa khỏi đường chéo, mức độ bất bình đẳng càng lớn. Như bạn thấy trong ví dụ này, đường cong võng khá rõ vì 20% dân số dưới cùng chỉ nắm 7,14% thu nhập.

Yêu cầu dữ liệu và thách thức

Để dựng một đường cong Lorenz chính xác, bạn cần dữ liệu chất lượng cao đáp ứng một vài tiêu chí quan trọng. Chất lượng và cấu trúc dữ liệu sẽ tác động trực tiếp đến độ chính xác và độ tin cậy của kết quả.

Trước hết, kích thước mẫu là yếu tố then chốt. Tập dữ liệu nhỏ có thể dẫn đến kết quả sai lệch vì có thể không phản ánh đầy đủ phạm vi bất bình đẳng trong một quần thể. Ví dụ của chúng ta dùng tập dữ liệu quá nhỏ chỉ gồm 5 cá nhân. Đường cong này được thiết kế cho toàn bộ quần thể. Tập dữ liệu lớn hơn sẽ cho bức tranh đáng tin cậy và đại diện hơn về bất bình đẳng, giúp đường cong Lorenz chính xác hơn.

Độ chi tiết (granularity) cũng quan trọng vì dữ liệu càng chi tiết, đường cong Lorenz càng chính xác. Ví dụ, dữ liệu thu nhập theo cá nhân hoặc hộ gia đình sẽ cho cái nhìn tốt hơn về bất bình đẳng trong một quần thể so với dữ liệu theo toàn quận/huyện. Tập dữ liệu kiểu sau có thể che giấu nhiều bất công.

Như với hầu hết các phân tích, dữ liệu không đầy đủ là vấn đề phổ biến có thể làm sai lệch đáng kể đường cong Lorenz. Giá trị thiếu tạo ra khoảng trống trong các tỷ lệ phần trăm tích lũy, có thể dẫn tới kết quả không chính xác. Trước khi dựng đường cong, hãy đảm bảo tập dữ liệu đầy đủ nhất có thể, và cân nhắc kỹ cách xử lý dữ liệu thiếu. Nếu bạn chưa chắc cách xử lý dữ liệu thiếu, hãy xem khóa học Dealing with Missing Data in Python rất hữu ích của chúng tôi.

Ví dụ mã Python thực hành

Giờ khi đã nắm được những điều cơ bản, hãy khám phá cách đường cong Lorenz có thể được dùng như một công cụ kể chuyện vượt ra ngoài dữ liệu thu nhập.

Trong ví dụ này, chúng ta sẽ phân tích dữ liệu tội phạm để hiểu bất bình đẳng trong phân bổ các vụ phạm tội được báo cáo giữa các khu phố trong một thành phố. Điều này sẽ minh họa cách áp dụng đường cong Lorenz vào các lĩnh vực như chính sách công.

Chúng ta sẽ dùng một tập dữ liệu thực tế từ cơ sở dữ liệu tội phạm của Sở Cảnh sát Chicago, được cung cấp miễn phí trực tuyến. Bạn có thể tải tập dữ liệu từ Chicago Data Portal. Tập dữ liệu này chứa thông tin chi tiết về các vụ phạm tội được báo cáo ở Chicago, bao gồm loại tội phạm, địa điểm và ngày tháng.

Bên dưới, chúng ta sẽ đi qua các bước làm sạch dữ liệu, tính đường cong Lorenz, và trực quan hóa bằng Python. Nếu bạn mới học Python, tôi khuyến nghị khóa học Introduction to Python như một cách nhanh để học ngôn ngữ này.

Trước tiên, hãy cài tất cả thư viện cần dùng cho ví dụ này:

import pandas as pd
import numpy as np
import matplotlib.pyplot as pltĐược hỗ trợ bởi

Bước 1: Tải và nạp tập dữ liệu

Đoạn mã dưới đây sẽ tải tập dữ liệu từ Chicago Data Portal dưới dạng tệp CSV và nạp vào Python bằng pandas.

# Load the dataset
url = "<https://data.cityofchicago.org/resource/ijzp-q8t2.csv?$limit=100000>"  # Limit to 100,000 rows for simplicity
data = pd.read_csv(url)Được hỗ trợ bởi

Bước 2: Tổng hợp dữ liệu tội phạm theo khu phố

Tập dữ liệu này có một cột cho khu vực cộng đồng, hay khu phố. Chúng ta sẽ nhóm dữ liệu theo cột này để tính tổng số vụ phạm tội được báo cáo ở mỗi khu phố.

# Group by community area and count the number of crimes
crime_counts = data.groupby("community_area").size().reset_index(name="crime_count")

# Drop rows with missing community area values
crime_counts = crime_counts.dropna()

# Sort by crime count
crime_counts = crime_counts.sort_values(by="crime_count").reset_index(drop=True)

# Display the aggregated data
print(crime_counts.head())Được hỗ trợ bởi

Output:
   community_area  crime_count
0            47.0          102
1             9.0          102
2            12.0          195
3            74.0          212
4            37.0          246Được hỗ trợ bởi

Bước 3: Tính phần trăm tích lũy

Để dựng đường cong Lorenz, chúng ta cần tính phần trăm tích lũy của các khu phố và phần trăm tích lũy của các vụ phạm tội.

# Calculate cumulative percentages
crime_counts["cumulative_crime"] = crime_counts["crime_count"].cumsum()
crime_counts["cumulative_crime_percentage"] = crime_counts["cumulative_crime"] / crime_counts["crime_count"].sum()
crime_counts["cumulative_population_percentage"] = (np.arange(1, len(crime_counts) + 1)) / len(crime_counts)

# Display the updated data
print(crime_counts.head())Được hỗ trợ bởi

Output:
   community_area  crime_count  cumulative_crime  cumulative_crime_percentage  \\
0            47.0          102               102                      0.00102   
1             9.0          102               204                      0.00204   
2            12.0          195               399                      0.00399   
3            74.0          212               611                      0.00611   
4            37.0          246               857                      0.00857   

   cumulative_population_percentage  
0                          0.012987  
1                          0.025974  
2                          0.038961  
3                          0.051948  
4                          0.064935  Được hỗ trợ bởi

Bước 4: Vẽ đường cong Lorenz

Giờ khi đã có phần trăm tích lũy, chúng ta có thể vẽ đường cong Lorenz. Trục x biểu thị tỷ phần tích lũy của các khu phố, và trục y biểu thị tỷ phần tích lũy của các vụ phạm tội. Để thêm chút bản địa, chúng ta sẽ lấy cảm hứng từ màu sắc của Chicago Bears cho đồ thị.

# Example data for cumulative percentages
# x represents the cumulative share of neighborhoods
# y represents the cumulative share of crimes
x = np.linspace(0, 1, 100)  # Replace with actual data
y = x**2  # Replace with actual data

# Chicago Bears-inspired colors
blue = "#0065D1"  # Lighter blue for the Lorenz curve
orange = "#FF5A1F"  # Bright orange for the line of perfect equality

# Create the plot
plt.figure(figsize=(8, 6))

# Plot the Lorenz curve
# This curve shows the inequality in crime distribution across neighborhoods
plt.plot(x, y, label="Lorenz Curve", color=blue, linewidth=2)

# Plot the line of perfect equality
# This line represents a hypothetical scenario where crimes are evenly distributed
plt.plot([0, 1], [0, 1], label="Line of Perfect Equality", color=orange, linestyle="--", linewidth=2)

# Add a title to explain what the graph represents
plt.title("Lorenz Curve of Crime Distribution Across Chicago Neighborhoods", fontsize=16, color="black", pad=15)

# Label the x-axis to show what the horizontal axis represents
plt.xlabel("Cumulative Share of Neighborhoods", fontsize=12, color="black", labelpad=10)

# Label the y-axis to show what the vertical axis represents
plt.ylabel("Cumulative Share of Crimes", fontsize=12, color="black", labelpad=10)

# Add a legend to explain the two lines
plt.legend(fontsize=12, loc="lower right", frameon=False)

# Remove the grid for a cleaner look
plt.grid(False)

# Set the background color to white for a professional appearance
plt.gca().set_facecolor("white")

# Remove the top and right borders of the graph for a minimalist design
plt.gca().spines["top"].set_visible(False)
plt.gca().spines["right"].set_visible(False)

# Save the plot as a PNG file
# This saves the graph as an image file for sharing or embedding in reports
plt.savefig("lorenz_curve_crime.png", dpi=300, bbox_inches="tight")

# Display the plot
plt.show()Được hỗ trợ bởi

Bước 5: Diễn giải kết quả

Cuối cùng, chúng ta cần diễn giải biểu đồ. Đường cong Lorenz này cho thấy sự bất bình đẳng đáng kể trong phân bổ tội phạm trên các khu phố Chicago. Đường cong võng rõ rệt khỏi đường bình đẳng hoàn hảo, cho thấy một phần nhỏ khu phố chiếm phần lớn số vụ phạm tội được báo cáo. 

Có vẻ như 50% khu phố đầu tiên chỉ đóng góp dưới 20% tổng số vụ phạm tội, trong khi phần còn lại gánh phần chủ yếu. Hình ảnh này làm nổi bật các mô hình bất bình đẳng có thể không rõ ràng ở các loại đồ thị khác. Bước tiếp theo có thể là xác định các khu phố có tội phạm cao để triển khai biện pháp giảm thiểu, hoặc xác định các khu ít tội phạm để xem các biện pháp răn đe nào đang hiệu quả.

Ví dụ này cho thấy cách đường cong Lorenz có thể được áp dụng vượt ngoài dữ liệu thu nhập để kể những câu chuyện thuyết phục về bất bình đẳng trong các lĩnh vực khác. Bằng cách phân tích dữ liệu tội phạm, chúng ta có thể khám phá các mô hình bất bình đẳng giúp định hướng chính sách công và quyết định quy hoạch đô thị. Hãy thử áp dụng phương pháp này cho các tập dữ liệu khác, như tiếp cận dịch vụ y tế, kết quả giáo dục, hoặc dữ liệu môi trường để khám phá bất bình đẳng theo những cách mới và ý nghĩa.

Đường cong Lorenz so với hệ số Gini

Hệ số Gini được suy ra trực tiếp từ đường cong Lorenz. Nó đo diện tích giữa đường cong Lorenz và đường bình đẳng hoàn hảo. Diện tích lớn hơn cho thấy bất bình đẳng lớn hơn, trong khi diện tích nhỏ hơn gợi ý bình đẳng hơn. Hệ số Gini dao động từ 0 đến 1, trong đó 0 biểu thị bình đẳng hoàn hảo (ai cũng có nguồn lực như nhau), và 1 biểu thị bất bình đẳng cực đoan (một cá nhân nắm toàn bộ nguồn lực).

Việc bạn dùng thước đo nào phụ thuộc vào mục tiêu. Đường cong Lorenz cho thấy hình dạng của bất bình đẳng, trong khi hệ số Gini cung cấp tóm tắt bằng con số. Nếu bạn xem xét mức độ bất bình đẳng trong một quần thể, đường cong Lorenz sẽ cung cấp chi tiết hơn. Tuy nhiên, nếu bạn so sánh nhiều quần thể với nhau, việc so các đường cong Lorenz có thể cồng kềnh, nên hệ số Gini có thể phù hợp hơn. Để tìm hiểu sâu hơn về hệ số Gini, hãy xem hướng dẫn Understanding the Gini Coefficient của tôi.

Ngoài ra, có thể nói đường cong Lorenz linh hoạt hơn, vì nó có thể áp dụng cho nhiều loại dữ liệu, bao gồm thu nhập, tội phạm, tiếp cận y tế, hay đa dạng sinh học, và dùng để so sánh các phân phối theo thời gian hoặc giữa các nhóm. Hệ số Gini cũng có thể dùng cho các so sánh này, nhưng nó nổi tiếng chủ yếu để đo bất bình đẳng thu nhập. Điều này có thể tạo ra thiên kiến với một số người dùng. Theo kinh nghiệm của tôi, mọi người thường ít thiên kiến hơn khi diễn giải đồ thị so với khi được đưa một con số.

Ứng dụng thực tế của đường cong Lorenz

Đường cong Lorenz là một công cụ linh hoạt đã được áp dụng trong nhiều lĩnh vực. Hãy cùng khám phá một vài ứng dụng có tác động lớn nhất của nó.

• Đường cong Lorenz trong kinh tế và tài chính: Đường cong Lorenz nổi tiếng nhất là để phân tích bất bình đẳng thu nhập và tài sản. Các nhà kinh tế và hoạch định chính sách dựa vào nó để hiểu cách nguồn lực được phân bổ trong một quần thể và thiết kế các can thiệp như chính sách thuế hoặc chương trình xã hội.
• Đường cong Lorenz trong y tế công cộng và dịch tễ học: Trong y tế công cộng, đường cong Lorenz có thể được dùng để đo lường bất bình đẳng trong kết quả sức khỏe hoặc khả năng tiếp cận chăm sóc y tế. Điều này giúp các nhà nghiên cứu và nhà hoạch định chính sách xác định chênh lệch và phân bổ nguồn lực hiệu quả hơn.
• Đường cong Lorenz trong sinh thái học và đa dạng sinh học: Các nhà sinh thái có thể dùng đường cong Lorenz để nghiên cứu phân bố và mức độ phong phú của loài. Nó có thể giúp định lượng đa dạng sinh học và xác định các hệ sinh thái nơi một vài loài chiếm ưu thế còn các loài khác lại khan hiếm.
• Đường cong Lorenz trong khoa học dữ liệu và học máy: Đường cong Lorenz ngày càng được dùng trong khoa học dữ liệu để phân tích phân phối và đánh giá tính công bằng của các mô hình dự đoán. Một ví dụ là trong phân tích khách hàng. Doanh nghiệp có thể dùng đường cong Lorenz để hiểu mức độ tập trung doanh thu theo khách hàng. Nó giúp xác định người dùng nào tạo ra phần lớn doanh thu, từ đó hỗ trợ chiến lược marketing hoặc chương trình khách hàng thân thiết.
• Đường cong Lorenz trong khoa học dữ liệu và học máy: Một ví dụ khác mà tôi khá ngạc nhiên khi biết đến là trong học máy. Đường cong Lorenz có thể giúp các nhà khoa học dữ liệu đánh giá liệu dự đoán của mô hình có thiên lệch hay không. Ví dụ, trong mô hình phê duyệt khoản vay, đường cong có thể cho thấy một nhóm nhỏ người nộp đơn nhận phần lớn phê duyệt, chỉ ra khả năng thiên lệch trong thuật toán.

Ưu điểm và hạn chế của đường cong Lorenz

Giống như bất kỳ phương pháp nào, đường cong Lorenz có điểm mạnh và điểm yếu.

Hạn chế của đường cong Lorenz

Đường cong Lorenz thường cần dữ liệu khá chi tiết để cho kết quả có ý nghĩa. Tập dữ liệu tổng hợp hoặc không đầy đủ đôi khi có thể dẫn đến kết luận không chính xác. Ví dụ, dữ liệu thu nhập bỏ sót các khoản thu nhập phi chính thức như tiền tip có thể đánh giá thấp bất bình đẳng. 

Cũng quan trọng là có kích thước mẫu đủ lớn để tạo thành một đường cong thay vì một đường gợn khúc khuỷu, như bạn có thể thấy ở hình đầu tiên. Như mọi khi, cần đảm bảo dữ liệu đầy đủ nhất có thể. Và tất nhiên, bạn nên thẩm định dữ liệu cẩn thận và ghi lại mọi giả định để đảm bảo minh bạch và độ tin cậy.

Đường cong Lorenz cũng không phản ánh bất bình đẳng đa chiều. Nó tập trung vào một biến duy nhất, như thu nhập hoặc tài sản, và không tính đến hiệu ứng kết hợp. Tuy nhiên, nếu bạn muốn đo lường bất bình đẳng đa chiều, có các công cụ khác có thể dùng, như Chỉ số Nghèo đa chiều (MPI).

Ưu điểm của đường cong Lorenz

Ưu điểm lớn nhất của đường cong Lorenz, theo tôi, là nó cung cấp hình ảnh trực quan trực cảm về bất bình đẳng, giúp dễ hiểu trong nháy mắt. Bằng cách so sánh với đường bình đẳng hoàn hảo, chênh lệch trong một quần thể trở nên hiển hiện ngay. Đây là công cụ kể chuyện bằng hình ảnh khiến dữ liệu về bất bình đẳng trở nên dễ tiếp cận với cả khán giả kỹ thuật và phi kỹ thuật.

Tính linh hoạt là ưu điểm lớn khác. Đường cong Lorenz có thể áp dụng trong nhiều lĩnh vực, từ kinh tế và y tế công cộng đến sinh thái và học máy. Sự linh hoạt này khiến nó hữu dụng rộng rãi.

Kết luận

Đường cong Lorenz là một công cụ kể chuyện linh hoạt hữu ích để hiển thị và hiểu bất bình đẳng. Nếu bạn quan tâm đến kiểu trực quan hóa này, có thể bạn sẽ thích đọc Trung bình nhân: Thước đo tăng trưởng và lãi kép. Hoặc, nếu bạn muốn tìm hiểu thêm về tài chính, tôi khuyến khích bạn xem khóa học Introduction to Python for Finance và lộ trình kỹ năng Applied Finance in Python của chúng tôi.