Kurva Lorenz: Cara Hebat untuk Memvisualisasikan Ketimpangan

Ketimpangan adalah topik yang memengaruhi hampir setiap aspek kehidupan: pendapatan, kekayaan, kesehatan, pendidikan, dan bahkan bagaimana sumber daya didistribusikan dalam ekosistem. Namun, bagaimana kita sebenarnya mengukurnya? Salah satu alat paling kuat yang saya temukan untuk memvisualisasikan ketimpangan adalah kurva Lorenz.

Meskipun umum digunakan untuk mengukur ketimpangan pendapatan, kurva Lorenz tidak hanya untuk ekonom. Seiring waktu, kurva ini menjadi alat serbaguna yang digunakan untuk menelaah kesenjangan layanan kesehatan, mempelajari keanekaragaman hayati, dan bahkan dalam machine learning untuk menilai keadilan pada model prediktif. Bagi data scientist, ini adalah cara yang sangat baik untuk bercerita tentang ketimpangan dalam sebuah dataset.

Dalam tutorial ini, saya akan menunjukkan cara kerja kurva Lorenz. Kita akan membahas cara membuatnya dengan dataset Anda menggunakan Python, dan Anda akan mempelajari cara menggunakannya dalam proyek Anda sendiri. Jika Anda tertarik untuk mengukur ketimpangan pendapatan, menganalisis segmentasi pelanggan, atau menyelidiki alokasi sumber daya, kurva Lorenz dapat membantu Anda mengomunikasikan gagasan kompleks ini dengan visual yang sederhana.

Memahami Kurva Lorenz

Kurva Lorenz diperkenalkan pada tahun 1905 oleh ekonom Max O. Lorenz. Cara kerjanya adalah dengan membandingkan distribusi aktual suatu sumber daya dengan garis kesetaraan sempurna hipotetis (garis di mana setiap orang memiliki jumlah yang sama). Semakin jauh kurva dari garis kesetaraan sempurna ini, semakin besar ketimpangan dalam distribusi sumber daya tersebut.

Struktur kurva Lorenz

Kurva Lorenz memiliki struktur yang sederhana. Pada sumbu x, kita memplot pangsa kumulatif populasi, dimulai dari individu termiskin hingga terkaya. Sumbu y menunjukkan pangsa kumulatif sumber daya yang diukur.

Selanjutnya, kita perlu menambahkan garis kesetaraan sempurna, yaitu garis diagonal dari sudut kiri bawah ke sudut kanan atas. Garis ini merepresentasikan skenario di mana setiap orang memiliki porsi yang sama dari sumber daya yang kita minati.

Kurva Lorenz itu sendiri menunjukkan distribusi aktual sumber daya. Semakin melengkung kurva menjauh dari garis kesetaraan sempurna, semakin besar ketimpangan yang direpresentasikannya.

Cara menafsirkan kurva Lorenz

Jika kurva Lorenz dekat dengan garis diagonal kesetaraan sempurna, artinya sumber daya didistribusikan cukup merata. Misalnya, dalam masyarakat di mana 50% populasi terbawah memiliki sekitar 50% pendapatan, kurva Lorenz akan lebih dekat ke diagonal. Kurva yang dangkal ini menunjukkan ketimpangan yang rendah.

Sebaliknya, jika kurva melengkung jauh dari diagonal, itu menunjukkan ketimpangan yang tinggi. Ini dapat terjadi jika, misalnya, 50% populasi terbawah hanya memiliki 10% pendapatan sementara 10% teratas memiliki sisanya.

Cara Membangun Kurva Lorenz

Mari kita bahas cara menyusun kurva Lorenz bersama-sama menggunakan contoh sederhana. Bayangkan kita menganalisis distribusi pendapatan dari sebuah populasi kecil. 

Langkah 1: Urutkan data

Langkah pertama adalah mengurutkan data dari yang terkecil ke yang terbesar. Untuk contoh ini, anggap kita memiliki nilai pendapatan berikut untuk lima individu dalam sebuah populasi: $20, $30, $50, $80, $100.

Kita akan mengurutkan nilai-nilai ini dari yang terkecil ke yang terbesar. Ini memastikan bahwa persentase kumulatif yang kita hitung nanti masuk akal. Berikut tabel yang telah diurutkan:

Berikutnya, kita menghitung persentase kumulatif untuk populasi (sumbu x) dan pendapatan (sumbu y).

• Untuk persentase populasi kumulatif, bagi posisi setiap individu dalam daftar yang telah diurutkan dengan jumlah total individu. Misalnya, individu pertama merepresentasikan 1/5 (atau 20%) dari populasi, individu kedua merepresentasikan 2/5 (40%), dan seterusnya.
• Untuk persentase pendapatan kumulatif, jumlahkan pendapatan secara progresif dan bagi setiap total kumulatif dengan total keseluruhan pendapatan. Dalam contoh ini, total pendapatan adalah $280, sehingga pendapatan individu pertama ($20) merepresentasikan 20/280 (atau sekitar 7,14%), dan dua individu pertama bersama-sama merepresentasikan (20 + 30)/280 (sekitar 17,86%).

Berikut tabel yang diperbarui dengan persentase kumulatif:

Langkah 3: Plot distribusi kumulatif

Sekarang setelah kita memiliki persentase kumulatif, kita dapat memplotnya pada grafik. 

Sumbu x merepresentasikan pangsa kumulatif populasi, dan sumbu y merepresentasikan pangsa kumulatif pendapatan. Setiap baris dalam tabel sesuai dengan satu titik pada grafik. Setelah titik-titik diplot, hubungkan untuk membentuk kurva Lorenz. Lalu, tambahkan garis kesetaraan sempurna.

Langkah 4: Tafsirkan kurva Lorenz

Kurva Lorenz yang dihasilkan menunjukkan distribusi aktual pendapatan dalam populasi ini. Semakin melengkung kurva menjauh dari garis diagonal, semakin besar ketimpangannya. Seperti yang terlihat dalam contoh ini, kurva cukup melengkung karena 20% populasi terbawah hanya memegang 7,14% dari pendapatan.

Kebutuhan Data dan Tantangan

Untuk menyusun kurva Lorenz yang akurat, Anda memerlukan data berkualitas tinggi yang memenuhi beberapa kriteria utama. Kualitas dan struktur data Anda akan berdampak langsung pada akurasi dan keandalan hasil.

Pertama, ukuran sampel adalah faktor krusial. Dataset kecil dapat menghasilkan hasil yang menyesatkan, karena mungkin tidak menangkap keseluruhan rentang ketimpangan dalam sebuah populasi. Contoh kita di sini menggunakan dataset yang terlalu kecil, hanya 5 individu. Kurva ini dirancang untuk populasi keseluruhan. Dataset yang lebih besar memberikan gambaran ketimpangan yang lebih andal dan representatif, sehingga kurva Lorenz Anda lebih akurat.

Tingkat keterincian (granularitas) juga penting karena semakin detail data Anda, semakin presisi kurva Lorenz Anda. Misalnya, data pendapatan per individu atau rumah tangga akan memberi gambaran ketimpangan yang lebih baik dalam populasi dibandingkan pendapatan per kabupaten. Dataset yang terakhir dapat menyembunyikan banyak ketidakadilan.

Seperti pada sebagian besar analisis, data yang tidak lengkap adalah masalah umum yang dapat sangat mendistorsi kurva Lorenz. Nilai yang hilang menciptakan celah dalam persentase kumulatif, yang dapat menyebabkan hasil tidak akurat. Sebelum menyusun kurva Anda, pastikan dataset Anda selengkap mungkin, dan pertimbangkan dengan cermat cara menangani data yang hilang. Jika Anda tidak yakin bagaimana menangani data yang hilang, lihat kursus Dealing with Missing Data in Python kami yang sangat membantu.

Contoh Kode Python Praktis

Sekarang setelah kita memahami dasarnya, mari jelajahi bagaimana kurva Lorenz dapat digunakan sebagai alat penceritaan di luar sekadar data pendapatan.

Untuk contoh ini, kita akan menganalisis data kejahatan untuk memahami ketimpangan distribusi kejahatan yang dilaporkan di berbagai lingkungan (neighborhood) dalam sebuah kota. Ini akan menunjukkan bagaimana kurva Lorenz dapat diterapkan pada bidang seperti kebijakan publik.

Kita akan menggunakan dataset dunia nyata dari basis data kejahatan Departemen Kepolisian Chicago, yang tersedia gratis secara online. Anda dapat mengunduh dataset tersebut dari Chicago Data Portal. Dataset ini berisi informasi terperinci tentang kejahatan yang dilaporkan di Chicago, termasuk jenis kejahatan, lokasi, dan tanggal.

Di bawah ini, kita akan menelusuri langkah-langkah untuk membersihkan data, menghitung kurva Lorenz, dan memvisualisasikannya menggunakan Python. Jika Anda baru dalam Python, saya merekomendasikan kursus Introduction to Python kami sebagai cara cepat untuk mempelajari bahasanya.

Pertama, mari kita pasang semua pustaka yang kita perlukan untuk contoh ini:

import pandas as pd
import numpy as np
import matplotlib.pyplot as pltDidukung oleh

Langkah 1: Unduh dan muat dataset

Kode di bawah ini akan mengunduh dataset dari Chicago Data Portal sebagai file CSV dan memuatnya ke Python menggunakan pandas.

# Load the dataset
url = "<https://data.cityofchicago.org/resource/ijzp-q8t2.csv?$limit=100000>"  # Limit to 100,000 rows for simplicity
data = pd.read_csv(url)Didukung oleh

Langkah 2: Agregasikan data kejahatan per lingkungan

Dataset ini berisi kolom area komunitas, atau neighborhood. Kita akan mengelompokkan data berdasarkan kolom ini untuk menghitung total jumlah kejahatan yang dilaporkan di setiap neighborhood.

# Group by community area and count the number of crimes
crime_counts = data.groupby("community_area").size().reset_index(name="crime_count")

# Drop rows with missing community area values
crime_counts = crime_counts.dropna()

# Sort by crime count
crime_counts = crime_counts.sort_values(by="crime_count").reset_index(drop=True)

# Display the aggregated data
print(crime_counts.head())Didukung oleh

Output:
   community_area  crime_count
0            47.0          102
1             9.0          102
2            12.0          195
3            74.0          212
4            37.0          246Didukung oleh

Langkah 3: Hitung persentase kumulatif

Untuk menyusun kurva Lorenz, kita perlu menghitung persentase kumulatif neighborhood dan persentase kumulatif kejahatan.

# Calculate cumulative percentages
crime_counts["cumulative_crime"] = crime_counts["crime_count"].cumsum()
crime_counts["cumulative_crime_percentage"] = crime_counts["cumulative_crime"] / crime_counts["crime_count"].sum()
crime_counts["cumulative_population_percentage"] = (np.arange(1, len(crime_counts) + 1)) / len(crime_counts)

# Display the updated data
print(crime_counts.head())Didukung oleh

Output:
   community_area  crime_count  cumulative_crime  cumulative_crime_percentage  \\
0            47.0          102               102                      0.00102   
1             9.0          102               204                      0.00204   
2            12.0          195               399                      0.00399   
3            74.0          212               611                      0.00611   
4            37.0          246               857                      0.00857   

   cumulative_population_percentage  
0                          0.012987  
1                          0.025974  
2                          0.038961  
3                          0.051948  
4                          0.064935  Didukung oleh

Langkah 4: Plot kurva Lorenz

Sekarang setelah kita memiliki persentase kumulatif, kita dapat memplot kurva Lorenz. Sumbu x merepresentasikan pangsa kumulatif neighborhood, dan sumbu y merepresentasikan pangsa kumulatif kejahatan. Untuk sentuhan lokal, kita akan menggunakan warna Chicago Bears sebagai inspirasi untuk plot kita.

# Example data for cumulative percentages
# x represents the cumulative share of neighborhoods
# y represents the cumulative share of crimes
x = np.linspace(0, 1, 100)  # Replace with actual data
y = x**2  # Replace with actual data

# Chicago Bears-inspired colors
blue = "#0065D1"  # Lighter blue for the Lorenz curve
orange = "#FF5A1F"  # Bright orange for the line of perfect equality

# Create the plot
plt.figure(figsize=(8, 6))

# Plot the Lorenz curve
# This curve shows the inequality in crime distribution across neighborhoods
plt.plot(x, y, label="Lorenz Curve", color=blue, linewidth=2)

# Plot the line of perfect equality
# This line represents a hypothetical scenario where crimes are evenly distributed
plt.plot([0, 1], [0, 1], label="Line of Perfect Equality", color=orange, linestyle="--", linewidth=2)

# Add a title to explain what the graph represents
plt.title("Lorenz Curve of Crime Distribution Across Chicago Neighborhoods", fontsize=16, color="black", pad=15)

# Label the x-axis to show what the horizontal axis represents
plt.xlabel("Cumulative Share of Neighborhoods", fontsize=12, color="black", labelpad=10)

# Label the y-axis to show what the vertical axis represents
plt.ylabel("Cumulative Share of Crimes", fontsize=12, color="black", labelpad=10)

# Add a legend to explain the two lines
plt.legend(fontsize=12, loc="lower right", frameon=False)

# Remove the grid for a cleaner look
plt.grid(False)

# Set the background color to white for a professional appearance
plt.gca().set_facecolor("white")

# Remove the top and right borders of the graph for a minimalist design
plt.gca().spines["top"].set_visible(False)
plt.gca().spines["right"].set_visible(False)

# Save the plot as a PNG file
# This saves the graph as an image file for sharing or embedding in reports
plt.savefig("lorenz_curve_crime.png", dpi=300, bbox_inches="tight")

# Display the plot
plt.show()Didukung oleh

Langkah 5: Tafsirkan hasil

Terakhir, kita perlu menafsirkan plot tersebut. Kurva Lorenz ini mengungkap ketimpangan mencolok dalam distribusi kejahatan di berbagai neighborhood di Chicago. Kurva melengkung jauh dari garis kesetaraan sempurna, menunjukkan bahwa sebagian kecil neighborhood menyumbang mayoritas kejahatan yang dilaporkan. 

Tampaknya 50% neighborhood pertama menyumbang kurang dari 20% total kejahatan, sementara sisanya menanggung beban kejahatan terbesar. Visualisasi ini menyoroti pola ketimpangan yang mungkin tidak tampak jelas pada jenis grafik lainnya. Langkah berikutnya mungkin adalah mengidentifikasi neighborhood dengan tingkat kejahatan lebih tinggi untuk memulai langkah mitigasi atau mengidentifikasi neighborhood dengan kejahatan lebih rendah untuk melihat penangkal apa yang berhasil.

Contoh ini menunjukkan bagaimana kurva Lorenz dapat diterapkan melampaui data pendapatan untuk menyampaikan kisah menarik tentang ketimpangan di bidang lain. Dengan menganalisis data kejahatan, kita dapat mengungkap pola ketimpangan yang menginformasikan kebijakan publik dan keputusan perencanaan kota. Cobalah menerapkan metode ini pada dataset lain, seperti akses layanan kesehatan, hasil pendidikan, atau data lingkungan untuk mengeksplorasi ketimpangan dengan cara baru yang bermakna.

Kurva Lorenz vs. Koefisien Gini

Koefisien Gini diturunkan langsung dari kurva Lorenz. Ia mengukur luas area antara kurva Lorenz dan garis kesetaraan sempurna. Area yang lebih besar menunjukkan ketimpangan yang lebih besar, sementara area yang lebih kecil menunjukkan kesetaraan yang lebih tinggi. Koefisien Gini berkisar dari 0 hingga 1, di mana 0 mewakili kesetaraan sempurna (semua orang memiliki sumber daya yang sama), dan 1 mewakili ketimpangan ekstrem (satu individu memegang semua sumber daya).

Ukuran mana yang Anda gunakan tergantung pada tujuan Anda. Kurva Lorenz menunjukkan bentuk ketimpangan, sedangkan koefisien Gini memberikan ringkasan numeriknya. Jika Anda melihat tingkat ketimpangan dalam satu populasi, kurva Lorenz akan menawarkan lebih banyak detail. Namun, jika Anda membandingkan banyak populasi satu sama lain, membandingkan kurva Lorenz dari masing-masing bisa merepotkan, sehingga koefisien Gini mungkin lebih tepat. Untuk pembahasan lebih mendalam tentang koefisien Gini, lihat tutorial saya Understanding the Gini Coefficient.

Selain itu, dapat dikatakan bahwa kurva Lorenz mungkin lebih fleksibel, karena dapat diterapkan pada berbagai jenis data, termasuk pendapatan, kejahatan, akses layanan kesehatan, atau keanekaragaman hayati, dan digunakan untuk membandingkan distribusi dari waktu ke waktu atau antar kelompok. Koefisien Gini juga dapat digunakan untuk jenis perbandingan ini, tetapi reputasinya terutama digunakan untuk mengukur ketimpangan pendapatan. Hal ini dapat menimbulkan bias bagi sebagian pembaca. Berdasarkan pengalaman saya, orang cenderung memiliki bias yang lebih sedikit saat menafsirkan grafik dibandingkan saat diberi sebuah angka.

Aplikasi Kurva Lorenz di Dunia Nyata

Kurva Lorenz adalah alat serbaguna yang telah diterapkan di berbagai bidang. Mari kita jelajahi beberapa aplikasi yang paling berdampak.

• Kurva Lorenz dalam ekonomi dan keuangan: Kurva Lorenz paling dikenal untuk menganalisis ketimpangan pendapatan dan kekayaan. Ekonom dan pembuat kebijakan mengandalkannya untuk memahami bagaimana sumber daya didistribusikan dalam populasi dan untuk merancang intervensi seperti kebijakan pajak atau program sosial.
• Kurva Lorenz dalam kesehatan masyarakat dan epidemiologi: Dalam kesehatan masyarakat, kurva Lorenz dapat digunakan untuk mengukur ketimpangan dalam hasil kesehatan atau akses layanan kesehatan. Ini membantu peneliti dan pembuat kebijakan mengidentifikasi kesenjangan dan mengalokasikan sumber daya secara lebih efektif.
• Kurva Lorenz dalam ekologi dan keanekaragaman hayati: Ahli ekologi dapat menggunakan kurva Lorenz untuk mempelajari distribusi dan kelimpahan spesies. Ini dapat membantu mengukur keanekaragaman hayati dan mengidentifikasi ekosistem di mana beberapa spesies mendominasi sementara yang lain langka.
• Kurva Lorenz dalam data science dan machine learning: Kurva Lorenz semakin banyak digunakan dalam data science untuk menganalisis distribusi dan mengevaluasi keadilan dalam model prediktif. Salah satu contohnya adalah dalam analitik pelanggan. Bisnis dapat menggunakan kurva Lorenz untuk memahami konsentrasi pendapatan di antara pelanggan. Ini dapat membantu mengidentifikasi pengguna yang mendorong sebagian besar pendapatan, sehingga berpotensi menginformasikan strategi pemasaran atau program loyalitas.
• Kurva Lorenz dalam data science dan machine learning: Contoh lain yang mengejutkan saya pelajari adalah dalam machine learning. Kurva Lorenz dapat membantu data scientist menilai apakah prediksi model bias. Misalnya, dalam model persetujuan pinjaman, kurva mungkin menunjukkan bahwa sekelompok kecil pemohon menerima mayoritas persetujuan, yang mengindikasikan potensi bias dalam algoritme.

Keunggulan dan Keterbatasan Kurva Lorenz

Seperti metode apa pun, kurva Lorenz memiliki kekuatan dan kelemahannya.

Keterbatasan kurva Lorenz

Kurva Lorenz sering kali memerlukan data yang cukup rinci untuk menghasilkan hasil yang bermakna. Dataset yang teragregasi atau tidak lengkap terkadang dapat menyebabkan kesimpulan yang tidak akurat. Misalnya, data pendapatan yang mengecualikan penghasilan informal, seperti tip, dapat meremehkan ketimpangan. 

Penting juga untuk memiliki ukuran sampel yang cukup besar agar terbentuk kurva alih-alih garis bergerigi, seperti yang dapat Anda lihat pada gambar pertama. Seperti biasa, penting untuk memastikan data Anda selengkap mungkin. Dan, tentu saja, Anda harus memvalidasi data dengan cermat dan mendokumentasikan setiap asumsi yang dibuat untuk memastikan transparansi dan keandalan.

Kurva Lorenz juga tidak menangkap ketimpangan multidimensi. Kurva ini berfokus pada satu variabel, seperti pendapatan atau kekayaan, dan tidak memperhitungkan efek gabungan apa pun. Namun, jika Anda ingin mengukur ketimpangan multidimensi, ada alat lain yang dapat Anda gunakan, seperti Indeks Kemiskinan Multidimensi.

Keunggulan kurva Lorenz

Keuntungan terbesar kurva Lorenz, menurut saya, adalah memberikan representasi visual ketimpangan yang intuitif, sehingga mudah dipahami secara sekilas. Dengan membandingkan kurva dengan garis kesetaraan sempurna, disparitas dalam populasi menjadi langsung terlihat. Ini adalah alat penceritaan visual yang membuat data ketimpangan dapat diakses oleh audiens teknis maupun non-teknis.

Fleksibilitasnya adalah keunggulan besar lainnya. Kurva Lorenz dapat diterapkan di berbagai bidang, dari ekonomi dan kesehatan masyarakat hingga ekologi dan machine learning. Fleksibilitas ini menjadikannya sangat berguna.

Kesimpulan

Kurva Lorenz adalah alat penceritaan yang serbaguna dan berguna untuk menampilkan dan memahami ketimpangan. Jika jenis visualisasi seperti ini menarik bagi Anda, Anda mungkin akan menikmati membaca Geometric Mean: A Measure for Growth and Compounding. Atau, jika Anda ingin mempelajari lebih lanjut tentang keuangan, saya mendorong Anda untuk melihat kursus Introduction to Python for Finance kami dan jalur keterampilan Applied Finance in Python.