Korelasi Semu: Perangkap Statistik Penting (dan Cara Menghindarinya)

Dalam statistik dan pembelajaran mesin, sebuah pola bukanlah jawaban.

Anda mungkin pernah melihat bagan yang mengaitkan penjualan es krim dengan tingkat tenggelam, atau yang menghubungkan film Nicolas Cage dengan kematian di kolam renang. Grafik-grafik ini menarik perhatian dan mudah diingat, tetapi ini adalah contoh jelas bahwa korelasi tidak berarti kausalitas. Selain itu, contoh ini begitu sering dipakai hingga gagal menunjukkan mengapa masalah ini penting dalam pekerjaan Anda.

Anda bisa memahami korelasi semu sebagai hubungan yang tampak antara dua variabel yang tidak disebabkan oleh keterkaitan nyata apa pun. Keterkaitan itu terjadi hanya karena kebetulan atau variabel tersembunyi yang tidak Anda pantau. Jika Anda menganggapnya sebagai informasi berharga, Anda akan membuang waktu mengejar pola yang tidak masuk akal dan tidak berlaku di dunia nyata.

Dalam artikel ini, saya akan menjelaskan mengapa korelasi semu terjadi, cara mengenalinya, dan cara menghindari pengambilan keputusan berdasarkan hal tersebut.

Lalu apa sebenarnya korelasi itu? Baca postingan blog kami tentang Mengukur Hubungan dalam Data untuk mempelajari berbagai jenis koefisien korelasi dan penerapannya.

Apa Itu Korelasi Semu?

Korelasi semu adalah hubungan statistik yang tampak antara dua variabel yang tidak disebabkan oleh keterkaitan nyata di antara keduanya.

Nilai korelasinya sendiri nyata. Saat Anda menjalankan analisis, Anda mendapatkan nilai yang tampak bermakna dan wajar. Tidak ada yang salah atau dibuat-buat pada bagian perhitungannya, dan justru itulah masalahnya.

Yang hilang adalah kausalitas.

Tidak ada apa pun dari satu variabel yang menyebabkan variabel lain terjadi. Keduanya mungkin bergerak bersama karena alasan yang tidak saling berkaitan, atau bahkan tanpa alasan yang nyata. Perbedaan antara apa yang ditunjukkan data dan apa yang sebenarnya terjadi itulah yang menjadi inti korelasi semu.

Mengapa Korelasi Semu Terjadi

Korelasi semu hampir selalu dapat dijelaskan oleh beberapa mekanisme, dan setelah Anda tahu apa yang dicari, Anda tidak akan lagi mempercayai korelasi secara membabi buta.

Variabel perancu

Perancu adalah variabel tersembunyi yang memengaruhi kedua hal yang Anda ukur.

Ambil contoh klasik es krim dan tenggelam. Penjualan es krim tidak menyebabkan tenggelam. Cuaca panas yang mendorong keduanya—lebih banyak orang membeli es krim, dan lebih banyak orang berenang, yang berarti lebih banyak kejadian tenggelam.

Suhu adalah perancunya. Jika data Anda tidak memantaunya, mudah untuk melewatkannya.

Kebetulan

Terkadang dua variabel bergerak bersama tanpa alasan apa pun.

Jika Anda menjalankan cukup banyak perbandingan di cukup banyak dataset, sebagian akan sejajar hanya karena kebetulan. Inilah tepatnya yang terjadi pada korelasi antara Nicolas Cage dan kematian di kolam renang—dua deret waktu yang tidak terkait yang kebetulan bergerak searah selama tahun-tahun yang sama.

Dengan cukup banyak variabel yang terlibat, sejumlah keselarasan acak adalah hal yang diharapkan.

Tren umum

Beberapa variabel memang bergerak bersama seiring waktu, dan tumpang tindih itu dapat terlihat seperti hubungan meskipun sebenarnya tidak ada.

Pikirkan populasi, PDB, penggunaan internet, dan produksi plastik. Banyak di antaranya meningkat selama beberapa dekade. Jika Anda membandingkan dua di antaranya, Anda akan mendapatkan korelasi kuat, semata-mata karena keduanya sedang tren naik.

Namun yang mereka bagi hanya arah gerak, bukan ada koneksi di antara variabel-variabel itu sendiri.

Bias pengambilan sampel

Korelasi semu juga bisa muncul dari data yang Anda kumpulkan, bukan dari dunia yang seharusnya diwakilinya.

Jika sampel Anda tidak mencerminkan populasi yang Anda pelajari, Anda bisa mendapatkan hubungan yang hanya ada dalam dataset Anda. Misalnya, survei pelanggan hanya melalui aplikasi, dan Anda akan menemukan "penggunaan aplikasi" berkorelasi dengan berbagai hal. Bukan karena penggunaan aplikasi menyebabkannya, melainkan karena sampel Anda bias terhadap orang yang menggunakan aplikasi.

Contoh Korelasi Semu

Korelasi semu lebih umum daripada yang Anda kira. Berikut cara mengenalinya dan apa yang harus dilakukan.

Contoh statistik klasik

Korelasi antara es krim dan tenggelam adalah contoh yang dikenal semua orang. Penjualan es krim dan kematian karena tenggelam naik turun bersama, tetapi keduanya tidak saling menyebabkan. Cuaca panas adalah perancunya dan mendorong keduanya sekaligus.

Contoh Nicolas Cage berbeda. Jumlah filmnya selama bertahun-tahun berkorelasi dengan jumlah kejadian tenggelam di kolam pada periode yang sama, dan tidak ada perancu yang terlibat. Itu kebetulan—dua tren yang tidak berhubungan yang kebetulan sejajar.

Kedua contoh membuktikan poin tentang korelasi semu, tetapi sayangnya, Anda tidak akan melihatnya sejelas itu dalam kasus dunia nyata.

Contoh bisnis dan riset

Dalam analitik bisnis, korelasi semu cenderung bersembunyi di balik angka-angka yang tampak saling berkaitan.

Bayangkan sebuah perusahaan melacak pengeluaran pemasaran mingguan dan pendapatan mingguan selama dua tahun. Anda dapat menggunakan kode Python ini untuk mengikuti:

import numpy as np
import pandas as pd

np.random.seed(42)
weeks = 104

# Seasonal effect
seasonality = 10 * np.sin(np.linspace(0, 8 * np.pi, weeks)) + 20

marketing_spend = seasonality + np.random.normal(0, 2, weeks)
revenue = seasonality * 50 + np.random.normal(0, 30, weeks)

df = pd.DataFrame({
    "week": range(1, weeks + 1),
    "marketing_spend": marketing_spend,
    "revenue": revenue
})

print(df["marketing_spend"].corr(df["revenue"]))

Output: 0.9707905810711147

Anda akan mendapatkan korelasi positif yang kuat antara marketing_spend dan revenue. Menggoda untuk menafsirkannya sebagai "pengeluaran pemasaran meningkatkan pendapatan," dan mungkin memang demikian, tetapi kode di atas tidak membuktikannya. Kedua variabel didorong oleh siklus permintaan musiman yang sama. Jika perusahaan membelanjakan lebih banyak pada minggu ketika permintaan memang sedang tinggi, korelasi itu akan muncul terlepas dari apakah pemasaran itu sendiri berdampak atau tidak.

Ini adalah kesalahan umum dalam banyak analitik bisnis.

Hal-hal seperti perilaku pelanggan dan hasil pemasaran bergerak mengikuti musim, kondisi ekonomi, atau belasan faktor tersembunyi lainnya. Dua metrik yang berkorelasi tidak memberi tahu Anda mana yang, jika ada, bertanggung jawab.

Contoh pembelajaran mesin

Model pembelajaran mesin tidak tahu apa arti "sebab-akibat". Model hanya mencari pola apa pun yang menurunkan metrik galat, dan jika jalan pintas bekerja pada data pelatihan, model akan menggunakannya.

Sebagai contoh:

• Ketergantungan pada latar belakang: Klasifier gambar yang dilatih untuk mengenali sapi malah belajar mengaitkan padang rumput hijau dengan "sapi", bukan hewannya. Jika ditunjukkan sapi di pantai, model gagal.
• Proksi demografis dan geografis: Model yang dilatih pada data historis menangkap kode pos sebagai proksi untuk pendapatan atau ras, bahkan ketika keduanya tidak ada dalam set pelatihan.
• Artefak dataset: Model pencitraan medis belajar bahwa pemindaian dari mesin lama milik satu rumah sakit berkorelasi dengan penyakit, karena rumah sakit tersebut menangani kasus yang lebih parah, bukan karena keluaran mesin mengungkapkan sesuatu tentang penyakitnya.

Berikut ide yang sama, dibangun sebagai contoh sintetis yang bisa Anda jalankan sendiri. Sebuah model memprediksi risiko gagal bayar pinjaman, dan zip_code bertindak sebagai proksi untuk income, yang sebenarnya merupakan variabel yang penting.

import numpy as np
import pandas as pd
from sklearn.linear_model import LogisticRegression

np.random.seed(42)
n = 1000

# Zip code correlates with income, income drives default risk
zip_code = np.random.choice([1, 2, 3], size=n)
income = 80000 - zip_code * 15000 + np.random.normal(0, 5000, n)
default_risk = (income < 40000).astype(int)

df = pd.DataFrame({"zip_code": zip_code, "income": income, "default": default_risk})

model = LogisticRegression()
model.fit(df[["zip_code"]], df["default"])
print(model.score(df[["zip_code"]], df["default"]))

Skor model contoh pembelajaran mesin

Model ini dapat memprediksi risiko gagal bayar menggunakan zip_code saja, tanpa pernah melihat income. Pada dataset ini, cara tersebut berhasil, tetapi jika Anda memberikannya kota baru di mana pola kode pos dan pendapatan tidak berlaku, akurasi model akan turun.

Itulah masalah pembelajaran jalan pintas.

Model yang dibangun di atas korelasi semu bisa meraih skor baik pada data pelatihan namun tetap gagal begitu memasuki lingkungan di mana korelasi tersebut tidak berlaku.

Cara Mendeteksi Korelasi Semu

Kabar buruknya, Anda tidak bisa menghilangkan korelasi semu, tetapi Anda bisa membangun kebiasaan yang menangkap sebagian besar kasusnya.

Berikut beberapa tips praktis:

• Selidiki variabel perancu: Sebelum mempercayai korelasi, tanyakan apa lagi yang mungkin mendorong kedua variabel tersebut. Suhu dan musim sering menjadi tersangka.
• Gunakan pengetahuan domain: Jika suatu hubungan tidak masuk akal berdasarkan pengetahuan Anda tentang subjeknya, jangan biarkan statistik menyingkirkan intuisi itu.
• Visualisasikan data: Diagram sebar atau grafik deret waktu sering kali menunjukkan tren bersama atau pencilan jelas yang disembunyikan oleh koefisien korelasi.
• Jalankan uji statistik tambahan: Korelasi parsial atau memeriksa apakah hubungan bertahan di berbagai subkelompok dapat mengonfirmasi atau menggugurkan korelasi.
• Rancang eksperimen bila memungkinkan: Uji terkontrol acak menghilangkan perancu, karena Anda mengendalikan kelompok mana yang menerima perlakuan tertentu.

Singkatnya, koefisien korelasi memberi tahu Anda bahwa dua hal bergerak bersama. Apakah itu berarti sesuatu, tetap menjadi keputusan Anda.

Korelasi Semu vs Konsep Statistik Lain

Beberapa istilah sering dipakai bergantian dengan korelasi semu, dan ini menimbulkan banyak kebingungan. Di bagian ini, saya akan menunjukkan apa konsep statistik tersebut dan bagaimana perbedaannya.

Korelasi semu vs perancu

Perancu adalah salah satu penyebab spesifik dari korelasi semu. Bukan sinonimnya.

Perancu terjadi ketika variabel ketiga memengaruhi kedua variabel yang Anda ukur, menciptakan hubungan yang tampak langsung padahal tidak. Suhu bisa menjadi perancu karena mendorong penjualan es krim dan kejadian tenggelam sekaligus.

Korelasi semu adalah kategori yang lebih luas. Ia mencakup perancu, tetapi juga mencakup kebetulan, bias pengambilan sampel, dan tren bersama dari waktu ke waktu, yang tidak melibatkan variabel ketiga tersembunyi. Contoh Nicolas Cage sama sekali bukan perancu, karena tidak ada variabel yang menghubungkan jumlah film dengan kematian di kolam. Itu murni kebetulan. Namun tetap termasuk semu.

Jadi setiap hubungan yang terperancu adalah semu. Tidak setiap hubungan semu disebabkan perancu.

Korelasi semu vs kausalitas

Korelasi semu dan hubungan kausal dapat menghasilkan diagram sebar yang sama. Perbedaannya adalah apa yang terjadi di baliknya, dan perbedaan itu mengubah apa yang dapat Anda lakukan dengan data.

Berikut tabel yang merangkum perbedaannya:

Korelasi semu tidak pernah menyiratkan kausalitas, sekuat apa pun koefisien korelasinya. Membuktikan kausalitas memerlukan eksperimen terkontrol atau metode inferensi kausal mapan yang melampaui satu uji statistik.

Cara Mengurangi Risiko Korelasi Semu

Mendeteksi korelasi semu setelah kejadian memang berguna. Namun akan jauh lebih baik jika Anda dapat membangun alur kerja yang menghindarinya sejak awal.

Berikut yang sebaiknya Anda lakukan dalam alur kerja ini:

• Kumpulkan data yang lebih baik: Banyak korelasi semu berawal dari sampel yang tidak mewakili objek kajian Anda. Sebelum menganalisis apa pun, periksa apakah pengumpulan data Anda mencakup populasi yang tepat dengan kondisi yang tepat.
• Gunakan eksperimen acak bila memungkinkan: Randomisasi adalah pertahanan terbaik terhadap perancu, karena menyebarkan variabel tersembunyi secara merata antar kelompok. Jika Anda bisa menjalankan uji A/B alih-alih mengandalkan data observasional, lakukanlah.
• Validasi pada dataset baru: Korelasi yang hanya muncul di satu dataset adalah tanda ada yang tidak beres. Uji apakah hubungan tersebut bertahan pada data dari periode waktu berbeda, oleh orang berbeda, populasi berbeda, atau sumber berbeda sebelum Anda mempercayainya.
• Lakukan analisis kausal: Teknik seperti mengendalikan perancu atau grafik kausal memungkinkan Anda melampaui "dua hal ini bergerak bersama" dan menguji apakah yang satu benar-benar memengaruhi yang lain.
• Libatkan keahlian domain: Seseorang yang memahami subjek sering kali akan menangkap hubungan semu yang tidak terlihat oleh uji statistik. Jika suatu korelasi tidak selaras dengan pengetahuan domain, pertanyakan sebelum Anda membangunnya lebih lanjut.

Sejujurnya, tidak ada langkah-langkah ini yang menjamin Anda akan menangkap setiap korelasi semu, tetapi bila digabungkan, langkah-langkah tersebut mengurangi peluang membangun kesimpulan atau model yang tidak andal.

Kesimpulan

Koefisien korelasi yang tinggi mungkin tampak seperti jawaban, tetapi bagi profesional data yang lebih berpengalaman, itu justru pertanyaan.

Angka itu memberi tahu Anda dua hal bergerak bersama. Angka itu tidak memberi tahu Anda mengapa, dan memperlakukannya sebagai bukti kausalitas adalah cara terjadinya asumsi yang keliru, riset yang disalahpahami, keputusan bisnis yang keliru, dan model yang gagal saat pertama kali menemui data baru. Apa yang berada di balik angka lebih penting daripada angka itu sendiri.

Itulah mengapa kesimpulan terkuat tidak pernah datang dari statistik saja, melainkan dari gabungan statistik dan pengetahuan domain. Saat Anda menggunakan keduanya, Anda akan mendapatkan kesimpulan yang bertahan di luar dataset yang menghasilkannya.

Jika Anda merasa konsep korelasi dan korelasi semu membingungkan, jelajahi rangkaian kursus Probabilitas dan Statistik kami. Kami membahas semuanya mulai dari pengantar desain eksperimen hingga pengujian hipotesis.