Lorenz Eğrisi: Eşitsizliği Görselleştirmenin Harika Bir Yolu

Eşitsizlik, geliri, serveti, sağlığı, eğitimi ve hatta ekosistemlerde kaynakların nasıl dağıtıldığını kapsayarak hayatın neredeyse her yönünü etkileyen bir konudur. Peki bunu aslında nasıl ölçeriz? Eşitsizliği görselleştirmek için bulduğum en güçlü araçlardan biri Lorenz eğrisidir.

Genellikle gelir eşitsizliğini ölçmek için kullanılsa da Lorenz eğrisi sadece ekonomistlere yönelik değildir. Zamanla, sağlık hizmetlerindeki farklılıkları incelemekten biyolojik çeşitliliği çalışmaya ve hatta makine öğrenmesinde tahmin modellerindeki adaleti değerlendirmeye kadar çok yönlü bir araca dönüşmüştür. Veri bilimciler için, bir veri setindeki eşitsizlik hakkında hikâye anlatmanın harika bir yoludur.

Bu eğitimde, Lorenz eğrisinin nasıl çalıştığını göstereceğim. Python kullanarak kendi veri setinizle nasıl oluşturacağınızı tartışacağız ve bunu kendi projelerinizde nasıl kullanacağınızı öğreneceksiniz. Gelir eşitsizliğini nicelleştirmek, müşteri segmentasyonunu analiz etmek veya kaynak tahsisini incelemekle ilgileniyorsanız, Lorenz eğrisi bu karmaşık fikirleri basit bir görselle aktarmanıza yardımcı olabilir.

Lorenz Eğrisini Anlamak

Lorenz eğrisi, ekonomist Max O. Lorenz tarafından 1905 yılında tanıtıldı. Çalışma şekli, bir kaynağın gerçek dağılımını varsayımsal bir mükemmel eşitlik çizgisiyle (herkesin eşit miktara sahip olduğu bir çizgi) karşılaştırmaktır. Eğri bu mükemmel eşitlik çizgisinden ne kadar uzaklaşırsa, söz konusu kaynağın dağılımındaki eşitsizlik o kadar büyüktür.

Lorenz eğrisinin yapısı

Lorenz eğrisinin yapısı basittir. X ekseninde, en yoksul bireyden en zengine doğru ilerleyerek nüfusun kümülatif payını çizeriz. Y ekseni, ölçülen kaynağın kümülatif payını gösterir.

Ardından, sol alt köşeden sağ üst köşeye uzanan diyagonal bir çizgi olan mükemmel eşitlik çizgisini eklememiz gerekir. Bu çizgi, ilgilendiğimiz kaynağın herkes arasında eşit paylaştırıldığı bir senaryoyu temsil eder.

Lorenz eğrisinin kendisi, kaynağın gerçek dağılımını gösterir. Eğri mükemmel eşitlik çizgisinden ne kadar dışa doğru bombelenirse, temsil ettiği eşitsizlik o kadar büyüktür.

Lorenz eğrisi nasıl yorumlanır

Lorenz eğrisi mükemmel eşitlik diyagonaline yakınsa, kaynak oldukça dengeli dağılmış demektir. Örneğin, nüfusun alt %50’sinin kabaca gelirin %50’sine sahip olduğu bir toplumda, Lorenz eğrisi diyagonale daha yakın olur. Bu sığ eğri, düşük eşitsizliğe işaret eder.

Öte yandan, eğri diyagonelden oldukça uzaklaşıyorsa, bu yüksek eşitsizlik olduğunu gösterir. Bu durum, örneğin nüfusun alt %50’sinin gelirin yalnızca %10’una sahip olması, üst %10’unun ise geri kalanının tamamını alması gibi bir durumda görülebilir.

Bir Lorenz Eğrisi Nasıl Oluşturulur

Basit bir örnek üzerinden birlikte bir Lorenz eğrisi oluşturalım. Küçük bir nüfusun gelir dağılımını analiz ettiğimizi hayal edin. 

Adım 1: Verileri sıralayın

İlk adım, verileri artan düzende organize etmektir. Bu örnekte, bir nüfustaki beş bireyin gelir değerlerinin şu şekilde olduğunu varsayalım: $20, $30, $50, $80, $100.

Bu değerleri küçükten büyüğe sıralayacağız. Bu, daha sonra hesaplayacağımız kümülatif yüzdelerin anlamlı olmasını sağlar. İşte sıralanmış tablo:

Sırada, hem nüfus (x ekseni) hem de gelir (y ekseni) için kümülatif yüzdeleri hesaplamak var.

• Kümülatif nüfus yüzdesi için, sıralı listedeki her bireyin konumunu toplam birey sayısına bölün. Örneğin, ilk birey nüfusun 1/5’ini (veya %20’sini), ikinci birey 2/5’ini (%40) temsil eder ve böyle devam eder.
• Kümülatif gelir yüzdesi için, gelirleri kademeli olarak toplayın ve her kümülatif toplamı toplam gelire bölün. Bu örnekte, toplam gelir $280’dir; dolayısıyla ilk bireyin geliri ($20), 20/280’i (yaklaşık %7,14) temsil eder ve ilk iki birey birlikte (20 + 30)/280 (yaklaşık %17,86) eder.

İşte kümülatif yüzdelerle güncellenmiş tablo:

Adım 3: Kümülatif dağılımı çizin

Artık kümülatif yüzdelere sahip olduğumuza göre, bunları bir grafiğe yerleştirebiliriz. 

X ekseni nüfusun kümülatif payını, Y ekseni gelirin kümülatif payını temsil eder. Tabloya her satır grafikte bir noktaya karşılık gelir. Noktalar yerleştirildikten sonra, onları birleştirerek Lorenz eğrisini oluşturun. Ardından mükemmel eşitlik çizgisini ekleyin.

Adım 4: Lorenz eğrisini yorumlayın

Ortaya çıkan Lorenz eğrisi, bu nüfustaki gelirin gerçek dağılımını gösterir. Eğri diyagonal çizgiden ne kadar uzaklaşırsa, eşitsizlik o kadar büyüktür. Bu örnekte görüldüğü gibi, nüfusun alt %20’si gelirin yalnızca %7,14’üne sahip olduğu için eğri belirgin şekilde bombeleniyor.

Veri Gereksinimleri ve Zorluklar

Doğru bir Lorenz eğrisi oluşturmak için birkaç temel ölçütü karşılayan yüksek kaliteli verilere ihtiyacınız olacak. Verinizin kalitesi ve yapısı, sonuçlarınızın doğruluğunu ve güvenilirliğini doğrudan etkiler.

Öncelikle, örneklem büyüklüğü kritik bir faktördür. Küçük veri setleri yanıltıcı sonuçlara yol açabilir; çünkü bir nüfustaki eşitsizliğin tüm aralığını yakalayamayabilirler. Buradaki örneğimiz yalnızca 5 bireyden oluşan fazlasıyla küçük bir veri seti kullandı. Bu eğri tüm nüfuslar için tasarlanmıştır. Daha büyük veri setleri, eşitsizliğin daha güvenilir ve temsil edici bir resmini sunar ve Lorenz eğrinizi daha doğru hale getirir.

Ayrıntı düzeyi de önemlidir; verileriniz ne kadar ayrıntılıysa Lorenz eğriniz o kadar hassas olur. Örneğin, bireyler veya haneler bazında gelir, ilçe toplam gelirlerine göre eşitsizlik hakkında daha iyi bir fikir verir. İkincisi türden veri setleri çok sayıda adaletsizliği gizleyebilir.

Çoğu analizde olduğu gibi, eksik veriler Lorenz eğrisini önemli ölçüde bozabilecek yaygın bir sorundur. Eksik değerler, kümülatif yüzdelerde boşluklar yaratarak hatalı sonuçlara yol açabilir. Eğrinizi oluşturmadan önce veri setinizin olabildiğince eksiksiz olduğundan emin olun ve eksik verileri nasıl ele aldığınızı dikkatle değerlendirin. Eksik verileri nasıl yöneteceğinizden emin değilseniz, çok faydalı Python’da Eksik Verilerle Başa Çıkma kursumuza göz atın.

Uygulamalı Python Kod Örneği

Artık temelleri anladığımıza göre, Lorenz eğrisinin sadece gelir verilerinin ötesinde bir hikâye anlatım aracı olarak nasıl kullanılabileceğini keşfedelim.

Bu örnekte, bir şehirdeki mahalleler arasında bildirilen suçların dağılımındaki eşitsizliği anlamak için suç verilerini analiz edeceğiz. Bu, Lorenz eğrisinin kamu politikası gibi alanlarda nasıl uygulanabileceğini gösterecek.

Chicago Emniyet Müdürlüğü’nün çevrimiçi olarak serbestçe erişilebilen suç veri tabanından gerçek bir veri seti kullanacağız. Veri setini Chicago Veri Portalı’ndan indirebilirsiniz. Bu veri seti, Chicago’da bildirilen suçlarla ilgili suç türü, konum ve tarih dâhil ayrıntılı bilgiler içerir.

Aşağıda, verileri temizleme, Lorenz eğrisini hesaplama ve Python kullanarak görselleştirme adımlarını birlikte inceleyeceğiz. Python’a yeniyseniz, dili hızlıca öğrenmek için Python’a Giriş kursumuzu öneririm.

Önce, bu örnek için ihtiyaç duyacağımız tüm kütüphaneleri kuralım:

import pandas as pd
import numpy as np
import matplotlib.pyplot as pltAltyapı:

Adım 1: Veri setini indirin ve yükleyin

Aşağıdaki kod, Chicago Veri Portalı’ndan veri setini CSV dosyası olarak indirip pandas kullanarak Python’a yüklemelidir.

# Load the dataset
url = "<https://data.cityofchicago.org/resource/ijzp-q8t2.csv?$limit=100000>"  # Limit to 100,000 rows for simplicity
data = pd.read_csv(url)Altyapı:

Adım 2: Suç verilerini mahalle bazında birleştirin

Bu veri setinde mahalleleri ifade eden topluluk alanları sütunu bulunur. Verileri bu sütuna göre gruplayıp her mahallede bildirilen toplam suç sayısını hesaplayacağız.

# Group by community area and count the number of crimes
crime_counts = data.groupby("community_area").size().reset_index(name="crime_count")

# Drop rows with missing community area values
crime_counts = crime_counts.dropna()

# Sort by crime count
crime_counts = crime_counts.sort_values(by="crime_count").reset_index(drop=True)

# Display the aggregated data
print(crime_counts.head())Altyapı:

Output:
   community_area  crime_count
0            47.0          102
1             9.0          102
2            12.0          195
3            74.0          212
4            37.0          246Altyapı:

Adım 3: Kümülatif yüzdeleri hesaplayın

Lorenz eğrisini oluşturmak için, mahallelerin kümülatif yüzdesini ve suçların kümülatif yüzdesini hesaplamamız gerekir.

# Calculate cumulative percentages
crime_counts["cumulative_crime"] = crime_counts["crime_count"].cumsum()
crime_counts["cumulative_crime_percentage"] = crime_counts["cumulative_crime"] / crime_counts["crime_count"].sum()
crime_counts["cumulative_population_percentage"] = (np.arange(1, len(crime_counts) + 1)) / len(crime_counts)

# Display the updated data
print(crime_counts.head())Altyapı:

Output:
   community_area  crime_count  cumulative_crime  cumulative_crime_percentage  \\
0            47.0          102               102                      0.00102   
1             9.0          102               204                      0.00204   
2            12.0          195               399                      0.00399   
3            74.0          212               611                      0.00611   
4            37.0          246               857                      0.00857   

   cumulative_population_percentage  
0                          0.012987  
1                          0.025974  
2                          0.038961  
3                          0.051948  
4                          0.064935  Altyapı:

Adım 4: Lorenz eğrisini çizin

Artık kümülatif yüzdelere sahip olduğumuza göre, Lorenz eğrisini çizebiliriz. X ekseni mahallelerin kümülatif payını, Y ekseni ise suçların kümülatif payını temsil eder. Bölgesel bir hava katmak için, grafiğimizde Chicago Bears’ın renklerinden ilham alacağız.

# Example data for cumulative percentages
# x represents the cumulative share of neighborhoods
# y represents the cumulative share of crimes
x = np.linspace(0, 1, 100)  # Replace with actual data
y = x**2  # Replace with actual data

# Chicago Bears-inspired colors
blue = "#0065D1"  # Lighter blue for the Lorenz curve
orange = "#FF5A1F"  # Bright orange for the line of perfect equality

# Create the plot
plt.figure(figsize=(8, 6))

# Plot the Lorenz curve
# This curve shows the inequality in crime distribution across neighborhoods
plt.plot(x, y, label="Lorenz Curve", color=blue, linewidth=2)

# Plot the line of perfect equality
# This line represents a hypothetical scenario where crimes are evenly distributed
plt.plot([0, 1], [0, 1], label="Line of Perfect Equality", color=orange, linestyle="--", linewidth=2)

# Add a title to explain what the graph represents
plt.title("Lorenz Curve of Crime Distribution Across Chicago Neighborhoods", fontsize=16, color="black", pad=15)

# Label the x-axis to show what the horizontal axis represents
plt.xlabel("Cumulative Share of Neighborhoods", fontsize=12, color="black", labelpad=10)

# Label the y-axis to show what the vertical axis represents
plt.ylabel("Cumulative Share of Crimes", fontsize=12, color="black", labelpad=10)

# Add a legend to explain the two lines
plt.legend(fontsize=12, loc="lower right", frameon=False)

# Remove the grid for a cleaner look
plt.grid(False)

# Set the background color to white for a professional appearance
plt.gca().set_facecolor("white")

# Remove the top and right borders of the graph for a minimalist design
plt.gca().spines["top"].set_visible(False)
plt.gca().spines["right"].set_visible(False)

# Save the plot as a PNG file
# This saves the graph as an image file for sharing or embedding in reports
plt.savefig("lorenz_curve_crime.png", dpi=300, bbox_inches="tight")

# Display the plot
plt.show()Altyapı:

Adım 5: Sonuçları yorumlayın

Son olarak grafiği yorumlamamız gerekir. Bu Lorenz eğrisi, Chicago mahalleleri arasında suçların dağılımındaki çarpıcı bir eşitsizliği ortaya koyuyor. Eğri, mükemmel eşitlik çizgisinden belirgin şekilde uzaklaşıyor; bu da mahallelerin küçük bir bölümünün bildirilen suçların çoğunluğunu oluşturduğunu gösteriyor. 

Görünüşe göre ilk %50’lik mahalle dilimi toplam suçların %20’sinden daha azını oluştururken, kalan mahalleler suç yükünün büyük kısmını taşıyor. Bu görselleştirme, diğer grafik türlerinde bu kadar belirgin olmayabilecek eşitsizlik kalıplarını öne çıkarıyor. Bir sonraki adım, azaltıcı önlemler başlatmak için suçun daha yüksek olduğu mahalleleri belirlemek veya hangi caydırıcıların işe yaradığını görmek için suçun daha az olduğu mahalleleri incelemek olabilir.

Bu örnek, Lorenz eğrisinin gelir verilerinin ötesinde diğer alanlardaki eşitsizlikler hakkında etkileyici hikâyeler anlatmak için nasıl uygulanabileceğini gösteriyor. Suç verilerini analiz ederek, kamu politikası ve kentsel planlama kararlarını bilgilendiren eşitsizlik kalıplarını ortaya çıkarabiliriz. Bu yöntemi sağlık hizmetlerine erişim, eğitim çıktıları veya çevresel veriler gibi diğer veri setlerine uygulayarak eşitsizliği yeni ve anlamlı yollarla keşfetmeyi deneyin.

Lorenz Eğrisi ve Gini Katsayısı

Gini katsayısı doğrudan Lorenz eğrisinden türetilir. Lorenz eğrisi ile mükemmel eşitlik çizgisi arasındaki alanı ölçer. Daha büyük bir alan daha fazla eşitsizliğe, daha küçük bir alan daha fazla eşitliğe işaret eder. Gini katsayısı 0 ile 1 arasında değişir; 0 mükemmel eşitliği (herkesin eşit kaynağa sahip olması), 1 ise aşırı eşitsizliği (tüm kaynağın tek bir bireyde toplanması) temsil eder.

Hangi ölçüyü kullanacağınız hedeflerinize bağlıdır. Lorenz eğrisi eşitsizliğin şeklini gösterirken, Gini katsayısı buna sayısal bir özet sağlar. Tek bir nüfus içindeki eşitsizlik miktarına bakıyorsanız, Lorenz eğrisi daha fazla ayrıntı sunar. Ancak, çok sayıda nüfusu birbiriyle karşılaştırıyorsanız, her birinin Lorenz eğrisini kıyaslamak zahmetli olabilir; bu durumda Gini katsayısı daha uygun olabilir. Gini katsayısına daha derinlemesine dalmak için Gini Katsayısını Anlamak eğitimime göz atın.

Ayrıca, Lorenz eğrisinin belki de daha esnek olduğunu söylemeliyiz; çünkü gelir, suç, sağlık hizmetlerine erişim veya biyolojik çeşitlilik gibi çeşitli veri türlerine uygulanabilir ve zaman içinde ya da gruplar arasında dağılımları karşılaştırmak için kullanılabilir. Gini katsayısı da bu tür karşılaştırmalar için kullanılabilir; ancak çoğunlukla gelir eşitsizliğini ölçmekte kullanılmasıyla bilinir. Bu, bazı kullanıcılar için bir önyargı yaratabilir. Deneyimlerime göre, insanlarda bir sayı verildiğinde oluşan önyargılar, grafik yorumlarken olduğundan daha fazladır.

Lorenz Eğrisinin Gerçek Dünya Uygulamaları

Lorenz eğrisi, çok çeşitli alanlarda uygulanmış çok yönlü bir araçtır. En etkili uygulamalarından bazılarını inceleyelim.

• Ekonomi ve finansta Lorenz eğrisi: Lorenz Eğrisi en çok gelir ve servet eşitsizliğini analiz etmek için kullanılır. Ekonomistler ve politika yapıcılar, kaynakların bir nüfus içinde nasıl dağıldığını anlamak ve vergi politikaları veya sosyal programlar gibi müdahaleler tasarlamak için ona güvenirler.
• Halk sağlığı ve epidemiyolojide Lorenz eğrisi: Halk sağlığında, Lorenz eğrisi sağlık sonuçlarındaki veya sağlık hizmetlerine erişimdeki eşitsizlikleri ölçmek için kullanılabilir. Bu, araştırmacıların ve politika yapıcıların farklılıkları belirlemesine ve kaynakları daha etkili biçimde tahsis etmesine yardımcı olur.
• Ekoloji ve biyolojik çeşitlilikte Lorenz eğrisi: Ekologlar, tür dağılımı ve bolluğunu incelemek için Lorenz eğrisini kullanabilir. Biyolojik çeşitliliği nicelleştirmeye ve birkaç türün baskın, diğerlerinin ise nadir olduğu ekosistemleri belirlemeye yardımcı olabilir.
• Veri bilimi ve makine öğrenmesinde Lorenz eğrisi: Lorenz eğrisi, veri biliminde dağılımları analiz etmek ve tahmin modellerinde adaleti değerlendirmek için giderek daha fazla kullanılmaktadır. Buna bir örnek, müşteri analitiğidir. İşletmeler, müşteriler arasındaki gelir yoğunlaşmasını anlamak için Lorenz eğrisini kullanabilir. Hangi kullanıcıların gelirin çoğunu sağladığını belirlemeye yardımcı olabilir; bu da pazarlama stratejilerini veya sadakat programlarını bilgilendirebilir.
• Veri bilimi ve makine öğrenmesinde Lorenz eğrisi: Öğrenince şaşırdığım bir diğer örnek ise makine öğrenmesinde. Lorenz eğrisi, veri bilimcilerin bir modelin tahminlerinin önyargılı olup olmadığını değerlendirmesine yardımcı olabilir. Örneğin bir kredi onay modelinde, eğri başvuruların çoğunun küçük bir başvuru sahibi grubuna gittiğini ortaya çıkarabilir; bu da algoritmada potansiyel bir önyargıya işaret eder.

Lorenz Eğrisinin Avantajları ve Sınırlamaları

Her yöntem gibi, Lorenz eğrisinin de güçlü ve zayıf yönleri vardır.

Lorenz eğrisinin sınırlamaları

Lorenz eğrisi, anlamlı sonuçlar üretmek için çoğu zaman oldukça ayrıntılı veriler gerektirir. Birleştirilmiş veya eksik veri setleri bazen hatalı sonuçlara yol açabilir. Örneğin, bahşiş gibi kayıt dışı gelirleri dışlayan gelir verileri eşitsizliği olduğundan az gösterebilir. 

Ayrıca, bir eğri yerine pürüzlü bir çizgi oluşmasını önlemek için yeterince büyük bir örneklem büyüklüğüne sahip olmak önemlidir; bunu ilk görselde görebilirsiniz. Her zaman olduğu gibi, verilerinizin olabildiğince eksiksiz olduğundan emin olmak önemlidir. Ve elbette, şeffaflık ve güvenilirlik için verilerinizi dikkatle doğrulamalı ve yapılan tüm varsayımları belgelemelisiniz.

Lorenz eğrisi çok boyutlu eşitsizliği de yakalamaz. Gelir veya servet gibi tek bir değişkene odaklanır ve birleşik etkileri hesaba katmaz. Ancak çok boyutlu eşitsizliği ölçmek istiyorsanız, Çok Boyutlu Yoksulluk Endeksi gibi kullanabileceğiniz başka araçlar vardır.

Lorenz eğrisinin avantajları

Bana göre Lorenz eğrisinin en büyük avantajı, eşitsizliğin sezgisel bir görsel temsilini sunmasıdır; böylece bir bakışta anlaşılmasını kolaylaştırır. Eğriyi mükemmel eşitlik çizgisiyle karşılaştırarak bir nüfus içindeki farklılıklar anında görünür hale gelir. Bu, hem teknik hem de teknik olmayan kitleler için eşitsizlik verilerini erişilebilir kılan bir görsel hikâye anlatım aracıdır.

Diğer büyük avantajı ise çok yönlülüğüdür. Lorenz eğrisi ekonomiden halk sağlığına, ekolojiden makine öğrenmesine kadar çeşitli alanlarda uygulanabilir. Bu esneklik onu geniş ölçekte faydalı kılar.

Sonuç

Lorenz eğrisi, eşitsizliği sergilemek ve anlamak için yararlı, çok yönlü bir hikâye anlatım aracıdır. Bu tür görselleştirmeler ilginizi çekiyorsa, Geometrik Ortalama: Büyüme ve Bileşikleşme için Bir Ölçü yazımızı okumaktan keyif alabilirsiniz. Ya da finans hakkında daha fazla bilgi edinmek istiyorsanız, Finans için Python’a Giriş kursumuza ve Python ile Uygulamalı Finans yetkinlik yolumuza göz atmanızı öneririm.