Paradoks Simpson: Jangan Sampai Terkecoh oleh Data

Saya dulu menganggap paradoks Simpson sangat membingungkan saat pertama kali mempelajarinya di kuliah. Saya hampir tidak tahu apa yang sedang saya lihat. Ada sebuah tren tingkat tinggi, dan ceritanya terlihat cukup jelas. Namun ketika saya memisahkan kelompok-kelompok dasarnya, trennya justru berbalik.

Pikiran pertama saya saat melihat ini adalah, ‘Yah, sepertinya statistik tidak bisa dipercaya.’ Tetapi setelah mempelajarinya lagi, saya senang bisa mengatakan bahwa saya kembali mempercayai statistik. Jika Anda sama bingungnya seperti saya dulu, teruslah membaca, dan saya akan membantu Anda memahami apa yang terjadi. 

Apa Itu Paradoks Simpson?

Seorang analis data berpengalaman akan belajar untuk bersikap skeptis terhadap tren yang luas. Ini karena rata-rata sederhana dapat menyembunyikan sesuatu yang lebih rumit yang benar dalam data. Pada paradoks Simpson, ‘sesuatu yang lain’ ini cukup mencengangkan: Data teragregasi tidak hanya mengaburkan fakta, tetapi justru mengarah pada kesimpulan yang berlawanan.

Dengan kata lain, paradoks Simpson terjadi ketika sebuah tren muncul dalam kelompok-kelompok data yang terpisah tetapi menghilang atau sepenuhnya berbalik ketika kelompok-kelompok itu digabungkan. Ini adalah pengingat tajam bahwa melihat gambaran besar tanpa memahami bagiannya bisa menimbulkan masalah.

Contoh Paradoks Simpson

Ini paling baik ditunjukkan dengan contoh. Saya akan mulai dengan sesuatu yang sederhana lalu menunjuk ke contoh terkenal yang bisa Anda pelajari sendiri. 

Bayangkan sebuah studi yang membandingkan tingkat keberhasilan dua jenis tanah terhadap pertumbuhan pohon, Tanah A dan Tanah B. Saat kita melihat pertumbuhan pohon berdasarkan jenis tanah, hasilnya tampak jelas:

• Untuk pohon di iklim sejuk (Kelompok 1), tanah A memberikan hasil yang lebih baik.
• Untuk pohon di iklim hangat (Kelompok 2), tanah A masih memberikan hasil yang lebih baik.

Berdasarkan ini, tanah A terlihat seperti pemenang yang jelas. Namun ketika kita menggabungkan semua data, paradoks muncul: Kita melihat bahwa tanah B justru lebih efektif secara keseluruhan.

Kalau Anda tidak percaya, saya akan menambahkan angkanya:

Pertumbuhan pohon di iklim sejuk

Di iklim sejuk, Tanah A mendukung pertumbuhan lebih cepat.

Pertumbuhan pohon di iklim hangat

Di iklim hangat, Tanah A tetap berkinerja lebih baik, meski selisihnya lebih kecil.

Namun saat semua pohon digabungkan

Kini kita melihat bahwa tanah B lebih baik secara keseluruhan, meskipun Tanah A mengunggulinya di kedua iklim. 

Lalu bagaimana ini bisa terjadi? Jawabannya adalah variabel perancu—faktor tersembunyi yang memengaruhi baik kelompok yang diteliti maupun hasil akhirnya. Dalam kasus ini, iklim adalah perancunya. 

Secara khusus, kita harus mengatakan bahwa: 

• Tanah A lebih sering digunakan di iklim yang lebih sejuk, tempat semua pohon tumbuh lebih lambat, apa pun jenis tanahnya.
• Dan tanah B lebih sering digunakan di iklim yang lebih hangat, tempat pohon umumnya tumbuh lebih cepat.

Jadi, iklim memengaruhi laju pertumbuhan dan juga terdistribusi tidak merata di antara kelompok tanah.

Contoh Klasik Paradoks Simpson 

Paradoks Simpson sering dipelajari melalui beberapa kasus historis yang benar-benar menunjukkan apa yang terjadi.

Salah satu contoh terkenal berasal dari penerimaan UC Berkeley pada 1970-an. Awalnya, data menunjukkan perempuan diterima dengan tingkat yang lebih rendah daripada laki-laki. Namun saat diuraikan per departemen, sebagian besar justru menerima perempuan dengan tingkat yang sama atau lebih tinggi. Perancunya adalah pilihan departemen: perempuan lebih banyak mendaftar ke departemen yang kompetitif dengan tingkat penerimaan yang lebih rendah secara keseluruhan, sementara laki-laki lebih banyak mendaftar ke departemen yang kurang kompetitif.

Kasus lain adalah studi tahun 1986 tentang pengobatan batu ginjal. Secara keseluruhan, metode yang kurang invasif tampak lebih efektif. Namun ketika dipisahkan berdasarkan ukuran batu, operasi yang lebih invasif memiliki tingkat keberhasilan lebih tinggi untuk batu kecil maupun besar. Perancunya di sini adalah tingkat keparahan kasus: kasus yang lebih sulit diarahkan ke operasi, sehingga angka total operasi terlihat lebih buruk.

Pada kedua kasus, data gabungan memberikan kesan yang keliru. Baru setelah dipecah-pecah, kebenarannya terlihat.

Apa Penyebab Paradoks Simpson?

Dalam Paradoks Simpson, angka-angka benar untuk gabungan maupun masing-masing kelompok. Jadi tidak ada kesalahan matematika apa pun. Masalahnya ada pada interpretasi. Ini menguji kemampuan kita untuk memegang semua fakta dengan tepat. 

Untuk membantu Anda memahami — dan ini sempat saya singgung — paradoks Simpson terjadi ketika dua kondisi terpenuhi:

1. Ada variabel perancu: Ada faktor ketiga yang terhubung dengan variabel independen dan juga dengan hasil.
2. Kelompok tidak seimbang: Dalam contoh pohon kita, tanah A lebih sering digunakan di iklim sejuk, tempat pohon tumbuh lebih lambat secara keseluruhan. Tanah B lebih banyak digunakan di iklim hangat, tempat pertumbuhan lebih cepat. Ketidakseimbangan ini menggeser rata-rata gabungan dan menyebabkan pembalikan.

Apa yang Harus Dilakukan terhadap Paradoks Simpson

Ini mungkin bagian yang paling penting: Bagaimana Anda melindungi analisis Anda dari paradoks Simpson agar tidak muncul tanpa sengaja dan, jika muncul, versi peristiwa mana yang seharusnya Anda laporkan? 

Apa yang dilakukan sebelumnya

Mungkin, paradoks Simpson paling baik ditangani sebelum ia berkesempatan memelintir kesimpulan Anda. Itu berarti mengembangkan beberapa kebiasaan yang disiplin:

• Segmentasikan data Anda: Jangan mengandalkan rata-rata tingkat atas. Pecah data ke dalam subkelompok relevan seperti usia, wilayah, jenis produk, atau tingkat keparahan, dan lainnya, lalu periksa apakah tren bertahan dalam irisan tersebut.
• Cari variabel perancu: Selalu tanyakan: Apa lagi yang bisa memengaruhi hasil ini? Cari faktor-faktor yang mungkin terdistribusi tidak merata di seluruh kelompok Anda, terutama yang Anda ketahui dari keahlian domain Anda.
• Ingat bahwa korelasi bukanlah kausalitas: Hanya karena sebuah tren muncul secara agregat tidak berarti itu mencerminkan hubungan sebab-akibat yang nyata. Paradoks Simpson sering muncul ketika korelasi permukaan menutupi ketidakseimbangan yang lebih dalam.
• Utamakan konteks: Ketahui dari mana data Anda berasal dan apa yang mungkin membentuknya. Metode pengumpulan, karakteristik subjek, dan pengaruh eksternal semuanya penting.

Apa yang dilakukan setelah muncul

Jika paradoks Simpson muncul, jangan panik. Ini adalah sinyal untuk melihat lebih saksama:

• Selidiki ketidakseimbangan. Apa yang terdistribusi tidak merata di antara kelompok-kelompok? Itulah yang kemungkinan menjadi perancu.
• Laporkan kedua sudut pandang, tetapi utamakan kejelasan. Tidak apa-apa menampilkan hasil agregat juga, tetapi pastikan untuk menjelaskan mengapa itu menyesatkan dan soroti analisis yang diuraikan yang lebih mencerminkan pola sebenarnya.
• Biarkan tujuan Anda membimbing pelaporan. Jika Anda membuat keputusan kebijakan atau perubahan operasional, biasanya Anda ingin bertindak berdasarkan wawasan tingkat subkelompok, bukan ringkasan yang digulung.

Jika Anda bertanya-tanya, apakah satu versi hasil lebih “baik” — versi agregat atau yang diuraikan? Ketahuilah bahwa tidak ada jawaban yang seragam. Meski begitu, saya berpikir bahwa analisis yang diuraikan biasanya lebih dapat dipercaya ketika ada perancu. Temuan yang diuraikan (dikelompokkan) biasanya lebih informatif karena mencerminkan bagaimana sebuah variabel berperilaku dalam kondisi atau konteks yang berbeda, dan temuan agregat bisa menyesatkan jika ada variabel perancu yang memengaruhi baik pengelompokan maupun hasil. Menurut saya, yang paling penting adalah memahami mengapa pembalikan terjadi dan mengomunikasikannya dengan jelas dalam pelaporan Anda.

Kesimpulan

Paradoks Simpson adalah pelajaran berharga dalam seni menafsirkan data. Kemampuan untuk melihat melampaui total yang menyesatkan dan bertanya, "Apa yang saya lewatkan?" adalah ciri analis yang matang. Itulah keterampilan yang membedakan seseorang yang hanya melaporkan angka dengan seseorang yang menggali wawasan.

Jika Anda tertarik pada “mengapa” di balik pembalikan ini (saya jelas tertarik), paradoks ini adalah gerbang yang bagus menuju bidang inferensi kausal yang lebih luas, kursus Machine Learning for Business kami mengajarkan model kausal dan hal lainnya. Selain itu, daftarlah ke kursus Foundations of Inference in Python hari ini sebagai opsi pembelajaran lain yang sangat bagus.