Simpson Paradoksu: Veriler Tarafından Yanıltılmaktan Kaçının

Üniversitede ilk öğrendiğimde Simpson paradoksunu aşırı kafa karıştırıcı bulmuştum. Neye baktığımı neredeyse anlayamamıştım. Karşımda yüksek düzeyde bir eğilim vardı ve hikâye yeterince net görünüyordu. Ama sonra, alttaki grupları ayırdığımda eğilim tersine dönmüştü.

Bunu gördüğümde aklımdan geçen ilk şey şuna benzer bir şeydi: ‘Sanırım istatistiklere güvenilmez.’ Ama geçen zamanda biraz çalıştım ve artık istatistiklere yeniden güvendiğimi söylemekten mutluyum. Benim kadar kafanız karıştıysa okumaya devam edin; neler olduğunu anlamanıza yardımcı olacağım. 

Simpson Paradoksu Nedir?

Deneyimli bir veri analisti, geniş eğilimlere şüpheyle yaklaşması gerektiğini öğrenmiştir. Çünkü basit bir ortalama, veride doğru olan daha karmaşık bir şeyi gizleyebilir. Simpson paradoksunda bu ‘başka bir şey’ epey dikkat çekicidir: Birleştirilmiş veriler yalnızca olguları gizlemekle kalmaz, tam tersi bir sonuca işaret eder.

Başka bir deyişle, Simpson paradoksu, verinin ayrı gruplarında görülen bir eğilim, bu gruplar birleştirildiğinde kaybolduğunda veya tamamen tersine döndüğünde ortaya çıkar. Büyük resme, parçalarını anlamadan bakmanın sorun çıkarabileceğini keskin bir şekilde hatırlatır.

Bir Simpson Paradoksu Örneği

Bunu en iyi bir örnekle gösterebiliriz. Basit bir şeyle başlayacağım ve ardından kendiniz inceleyebileceğiniz ünlü örneklere işaret edeceğim. 

İki toprak türünün, Toprak A ve Toprak B'nin, ağaç büyümesi üzerindeki başarı oranlarını karşılaştıran bir çalışma hayal edin. Ağaç büyümesini toprak türüne göre incelediğimizde sonuçlar açık görünür:

• Serin iklimlerdeki ağaçlar (Grup 1) için Toprak A daha iyi sonuç verir.
• Sıcak iklimlerdeki ağaçlar (Grup 2) için Toprak A yine daha iyi sonuç verir.

Buna dayanarak, Toprak A açık ara kazanan gibi görünür. Ancak tüm verileri birleştirdiğimizde paradoks ortaya çıkar: Aslında Toprak B’nin genel olarak daha etkili olduğunu görürüz.

İnanmıyorsanız sayılarla göstereyim:

Serin iklimlerde ağaç büyümesi

Serin iklimlerde Toprak A daha hızlı büyümeyi destekler.

Sıcak iklimlerde ağaç büyümesi

Sıcak iklimlerde Toprak A hâlâ daha iyi performans gösterir, ancak fark daha küçüktür.

Ama tüm ağaçları birleştirdiğinizde

Şimdi, Toprak A her iki iklimde de daha iyi olsa bile genel olarak Toprak B’nin daha iyi olduğunu görüyoruz. 

Peki bu nasıl mümkün? Cevap bir karıştırıcı değişkende—incelenen grupları da nihai sonucu da etkileyen gizli bir etkende yatıyor. Bu durumda karıştırıcı değişken iklim. 

Daha somut olarak şunu söylemeliyiz: 

• Toprak A, ağaçların topraktan bağımsız olarak daha yavaş büyüdüğü serin iklimlerde daha sık kullanılıyor.
• Toprak B ise ağaçların genel olarak daha hızlı büyüdüğü sıcak iklimlerde daha sık kullanılıyor.

Yani iklim, büyüme hızını etkiler ve toprak grupları arasında dengesiz dağılır.

Simpson Paradoksunun Klasik Örnekleri 

Simpson paradoksu, olup biteni gerçekten gösteren belirli tarihî vakalarla sıkça incelenir.

Ünlü bir örnek 1970’lerde UC Berkeley kabul verilerinden gelir. İlk bakışta veriler, kadınların erkeklere kıyasla daha düşük oranlarda kabul edildiğini öne sürüyordu. Ancak bölümlere göre ayrıldığında, çoğu bölüm kadınları eşit ya da daha yüksek oranlarda kabul etmişti. Karıştırıcı değişken bölüm tercihleriydi: Kadınlar genel kabul oranları daha düşük, daha rekabetçi bölümlere daha fazla başvururken, erkekler daha az rekabetçi bölümlere başvurmuştu.

Bir diğer örnek, 1986’da böbrek taşı tedavileri üzerine yapılan bir çalışmadır. Genel olarak, daha az invaziv bir yöntem daha etkili görünüyordu. Ancak taş boyutuna göre ayrıldığında, daha invaziv cerrahi hem küçük hem de büyük taşlar için daha yüksek başarı oranlarına sahipti. Buradaki karıştırıcı değişken vaka ciddiyetiydi: Daha zor vakalar cerrahiye yönlendirildiğinden, cerrahinin genel rakamları daha kötü görünüyordu.

Her iki durumda da birleştirilmiş veriler yanlış bir izlenim verdi. Ancak ayrıştırıldıktan sonra gerçek ortaya çıktı.

Simpson Paradoksuna Ne Sebep Olur?

Simpson Paradoksunda, hem birleştirilmiş hem de bireysel gruplar için sayılar doğrudur. Yani herhangi bir türden matematik hatası yoktur. Sorun yorumlamadadır. Tüm olguları doğru şekilde bir arada tutma becerimizi sınar. 

Anlamanıza yardımcı olmak için — ve biraz önce buna değinmeye başlamıştım — Simpson paradoksu iki koşul bir araya geldiğinde ortaya çıkar:

1. Bir karıştırıcı değişken vardır: Hem bağımsız değişkenle hem de sonuçla bağlantılı üçüncü bir etken bulunur.
2. Gruplar dengesizdir: Ağaç örneğimizde, Toprak A daha yavaş büyümenin görüldüğü serin iklimlerde daha sık kullanılmıştı. Toprak B ise daha hızlı büyümenin görüldüğü sıcak iklimlerde daha çok kullanılmıştı. Bu dengesizlik, birleştirilmiş ortalamayı çarpıtır ve tersine dönüşe yol açar.

Simpson Paradoksuyla Nasıl Baş Edilir

Şimdi bu kısım belki en önemlisi: Kendi analizinizde Simpson paradoksuna karşı nasıl önlem alırsınız ki kendiliğinden ortaya çıkmasın ve eğer ortaya çıkarsa hangi versiyonu raporlamanız gerekir? 

Öncesinde ne yapmalı

Belki de Simpson paradoksu, sonuçlarınızı çarpıtma şansı bulmadan önce en iyi şekilde yönetilir. Bu da birkaç disiplinli alışkanlık geliştirmek anlamına gelir:

• Verinizi segmentlere ayırın: Üst düzey ortalamalara güvenmeyin. Veriyi yaş, bölge, ürün türü, ciddiyet ve diğer ilgili alt gruplara ayırın ve eğilimin bu dilimlerde de geçerli olup olmadığını kontrol edin.
• Karıştırıcı değişkenleri arayın: Kendinize şu soruyu hep sorun: Bu sonucu başka ne etkiliyor olabilir? Gruplar arasında dengesiz dağılmış olabilecek etkenleri, özellikle alan bilginizden bildiklerinizi arayın.
• Korelasyonun nedensellik olmadığını unutmayın: Bir eğilim birleştirilmiş veride görünse de bu, gerçek bir neden-sonuç ilişkisini yansıttığı anlamına gelmez. Simpson Paradoksu çoğu zaman yüzeysel bir korelasyonun daha derin bir dengesizliği veya dengesizlikleri maskelediğinde ortaya çıkar.
• Bağlam konusunda ısrarcı olun: Verinizin nereden geldiğini ve onu nelerin şekillendirebileceğini bilin. Toplama yöntemleri, örneklerin niteliği ve dış etkiler önemlidir.

Ortaya çıktıktan sonra ne yapmalı

Simpson paradoksu ortaya çıkarsa paniklemeyin. Bu, biraz daha yakından bakmanız gerektiğinin işaretidir:

• Dengesizliği araştırın. Gruplar arasında ne dengesiz dağılmış? Muhtemelen karıştırıcı değişkeniniz budur.
• Her iki görünümü de raporlayın, ancak açıklığa öncelik verin. Birleştirilmiş sonucu da göstermek sorun değil, ancak neden yanıltıcı olduğunu açıklayın ve gerçek deseni daha iyi yansıtan ayrıştırılmış analizi öne çıkarın.
• Amacınız raporlamanıza yön versin. Politika kararları ya da operasyonel değişiklikler yapıyorsanız, genellikle özetlenmiş toplamlar yerine alt grup içgörülerine dayanarak hareket etmek istersiniz.

Kendinize, sonuçların hangi sürümü “daha iyi” — birleştirilmiş mi ayrıştırılmış mı — diye soruyorsanız, tek tip bir yanıt olmadığını bilin. Bununla birlikte, karıştırıcı değişkenler varken ayrıştırılmış analizin genellikle daha güvenilir olduğunu düşünüyorum. Ayrıştırılmış (gruplandırılmış) bulgular genelde daha bilgilendiricidir, çünkü bir değişkenin farklı koşullarda veya bağlamlarda nasıl davrandığını yansıtır; karıştırıcı bir değişken hem gruplamayı hem de sonucu etkiliyorsa birleştirilmiş bulgular yanıltıcı olabilir. En önemlisi, tersine dönüşün neden gerçekleştiğini anlamak ve bunu raporlamanızda net bir şekilde iletmektir.

Sonuç

Simpson Paradoksu, verileri yorumlama sanatında harika bir derstir. Yanıltıcı bir toplamın ötesini görüp “Neyi kaçırıyorum?” diye sorabilmek olgun bir analistin işaretidir. Bu, yalnızca sayı raporlayan biriyle içgörü ortaya çıkaran birini ayıran beceridir.

Bu tersine dönüşlerin arkasındaki “neden” ilginizi çekiyorsa (benimkini kesinlikle çekiyor), paradoks, daha geniş nedensel çıkarım alanına harika bir giriş kapısıdır; Machine Learning for Business kursumuz nedensel modelleri ve diğer konuları öğretir. Ayrıca, bir diğer çok iyi öğrenme seçeneği olarak bugün Foundations of Inference in Python kursumuza kaydolun.