P-Hacking: P-Değerini (Nasıl) Manipüle Etmemeli

Eğer daha önce özellikle çıkarımsal istatistik, hipotez testleri ve regresyon ile çalıştıysanız, muhtemelen p-değeriyle de tanışmışsınızdır. Ve eğer p-değerleriyle çalıştıysanız, p-değerlerinin savunmasız olabildiğini ve manipüle edilebildiğini biliyor ya da en azından hissediyor olabilirsiniz; ki bu konuda haklısınız.

Aslında bu manipülasyonun adı bile var: p-hacking. Bazen buna veri taraması (data dredging), veri gözetleme (data snooping), veri avcılığı (data fishing) ve şişirme yanlılığı (inflation bias) da denir. Bu yazı da tam olarak buna odaklanıyor.

P-Değeri Nedir?

Öncelikle p-değerinin ne olduğuna hızlıca bir dönüş yapalım. P-değerindeki ‘p’ olasılığı (probability) ifade eder. Özellikle p-değeri, yokluk hipotezinin doğru olduğu varsayımı altında, elde edilen sonuçlar kadar uç sonuçları gözlemleme olasılığıdır. Bu hatalı reddetme, Tip I Hata ya da yalancı pozitif hata olarak da adlandırılır. Genellikle, p-değeri, anlamlılık düzeyiyle (α ile gösterilir) karşılaştırılmak üzere elde edilir; bu düzey, yokluk hipotezi doğruyken onu reddetmenin tolere edilen olasılığıdır. 

Mantıken şuna varırız: p-değeri anlamlılık düzeyinden büyükse, yokluk hipotezini reddedemeyiz ve ona bağlı kalırız. Öte yandan, p-değeri anlamlılık düzeyinden küçük ya da ona eşitse, yokluk hipotezini alternatif hipotez lehine reddedebiliriz; bu durumda sonuçların istatistiksel olarak anlamlı olduğunu söyleriz.

Bu kısa p-değeri tazelemesinin herhangi bir kısmı size anlamlı gelmediyse endişelenmeyin! İstatistiğe Giriş teorik kursumuzu alarak gerekli temellere hızla hakim olabilirsiniz.

P-Hacking’e Giriş

“İstatistiksel olarak anlamlı” sonuçlara ulaşmak başarı gibi gelir ve bu nedenle caziptir. İş dünyasında, raporlanacak yeni, ilginç ya da arzu edilen bir şeyiniz olduğu anlamına gelir. Akademide ise bir şey keşfetmişsinizdir ve bu keşif dergilerde yayımlanabilir.

Ve tüm bu heyecan dünyasının anahtarı bu olduğundan, veri profesyonelleri ve araştırmacılar çalışmalarının p-değerlerine aşırı odaklanmaya, hatta anlamlılık düzeyini bile göz ardı etmeye meyleder. Üstelik onlarca yıldır en yaygın kabul gören anlamlılık düzeyi 0,05 olduğundan, 0,05’in altındaki bir p-değeri elde edildiğinde hemen kutlama yapmanın uygun olacağına dair kolay bir teamül gelişmiştir.

Bunun bir sonucu olarak, bazı araştırmacılar bazen kasıtlı, ama çoğunlukla kasıtsız biçimde, uygun testler aksi yönde sonuç verecekken p-değerini istatistiksel olarak anlamlı olacak kadar düşüren yöntemler uygulayarak p-hacking hatasına düşerler.

P-Hacking Nasıl İşler?

İster kasıtlı olsun ister olmasın, işleri yanlış yöne sürükleyip p-hacking’e götürebilecek pek çok yol vardır. P-hacking’e yol açan yöntemlere p-hack denebilir ve bunlar deneylerin herhangi bir aşamasında gerçekleşebilir.

Dorota Reis ve Malte Friese, kitap bölümlerinde P-Hacking’in Sayısız Biçimi başlığıyla, veri toplamadan raporlamaya kadar deneylerin farklı aşamalarındaki p-hack’lere ilişkin tükenmeyen bir liste sunuyor ve bunu aşağıdaki grafikte gösteriyorlar.

P-hack örnekleri. Kaynak: Uygulamalı Psikolojide Şüpheli Araştırma Uygulamalarından Kaçınma.

Soldan sağa her birinin ne anlama geldiğine bakalım:

• İsteğe bağlı durdurma: Gerekli örneklem büyüklüğü sağlandığında değil, toplanan katılımcılar anlamlı bir p-değeri verdiğinde veri toplamayı durdurmak demektir.
• Ek veri toplama: Bu, önceki uygulamanın bir uzantısı gibidir. Daha fazla veri toplamak, altta yatan gerçek bir etki yokken bazen p-değerini düşürebilir.
• Dağılımları dönüştürme: Dönüşüm, her veri hazırlama sürecinde gerekli olabilir; ancak birden çok dönüşüm denenip, istatistiksel olarak anlamlı p-değerine götüren dönüşüm seçiliyorsa bu bir p-hack’tir.
• Aykırı değerleri seçerek hariç tutma: Dağılım dönüşümü gibi, aykırı değerlerle uğraşmak veri hazırlamada esastır ve aykırı değer tespiti ve dışlama için çeşitli yöntemler vardır. Veriyi istatistiksel anlamlılık üretir hale getiren yöntem seçiliyorsa, bu da bir p-hack’tir.
• Birden çok analitik yöntem deneme: Farklı hipotez testleri çalıştırıp anlamlı sonuca götüreni seçmek demektir.
• Çoklu modelleme: Değişkenlerin farklı modellerini deneyip, seçimdeki temel kuramsal gerekçeyi yok sayarak istatistiksel anlamlılığa götüreni seçmek de bir p-hack’tir.
• Post-hoc ikame: Daha büyük p-değerine yol açan bir veri noktası ya da koşul kümesini, hipotez testleri turları boyunca ya da sonuçları raporlarken değiştirmek ya da göz ardı etmek anlamına gelir.
• P-değerini yuvarlama: Bu ise en bariz p-hack’tir; p-değeri anlamlılık düzeyinin biraz üzerindeyken onu yuvarlamaya dayanır. Böylece gerçekten manipüle edilerek bile ulaşılamayan bir anlamlılık varmış gibi yapılır.

Dikkat ederseniz bu p-hack’lerin çoğu, deneyin önceden belirlenmiş temelini her seferinde kurcalayarak deneyi tekrar tekrar yürütmeye dayanır. 

Ancak kurcalama olmasa bile, aynı deneyi tekrar çalıştırıp yalnızca istatistiksel olarak anlamlı olduğunda sonucu raporlamak da bir p-hack olabilir; çünkü herhangi bir deney yeterince çok tekrarlandığında, bir noktada düşük bir p-değeri verme şansı her zaman vardır. Aşağıdaki xkcd karikatürü bu fikri gösterir.

“Significant” karikatürü. Kaynak: xkcd.

Gerçek Dünyadan P-Hacking Örnekleri

P-hacking çok yaygın bir olgudur. 2010’ların başında, çok sayıda derleme çalışma, saygın dergilerde yayımlanan araştırmaların büyük bir yüzdesinin muhtemelen p-hack’lenmiş olduğunu tespit etmeye başladı; özellikle psikoloji ve tıpta, ama aynı zamanda sosyal bilimler ve beşerî bilimlerde.

Örneğin 2015’te, Virginia Üniversitesi’nden bir akademisyenin öncülüğünü yaptığı bir çalışma, 2008’de üst düzey dergilerde yayımlanan 100 psikoloji çalışmasını inceledi ve bunların yarısından azının tekrarlanabilir olduğunu buldu. Yeniden üretilebilirliğin olmaması, çalışmalar yeniden yapıldığında aynı sonuca ulaşılmadığı anlamına gelir; bunun nedeni bazen p-hacking’dir.

Başka bir proje kanser çalışmalarını inceledi ve 193 deneyden yalnızca 50’sinin tekrarlanabilir olduğunu buldu. Daha da önce, 2009’da bir çalışma, nörobilim alanında duygular, kişilik, sosyal biliş ve beynin fMRI ile ölçülen etkinliği arasında olağandışı yüksek korelasyonlar bildiren şüpheli sayıda deney olduğunu not etti. Bu deneylerin yazarlarıyla yapılan anket sonrası, verinin alt kümelerinin seçmeci biçimde tercih edildiği ve anlamlı sonuç verenlerin raporlandığı ortaya çıktı; bu da bizim post-hoc ikame dediğimiz p-hack’e benzer bir stratejiydi.

Bu derleme çalışmalarının bulguları, p-hacking’in ve diğer şüpheli araştırma uygulamalarının, uzun zamandır saygı gören bilimsel araştırmanın zeminini nasıl sarsıp delik deşik ettiğini ortaya koydu. Tekrarlanabilirlik krizi olarak adlandırılan bu kriz, hâlen sürüyor ve çıkış yolu bulmaya yönelik pek çok tartışma ve çabayla devam ediyor.

P-Hacking Neden Etik Dışı?

Peki p-hacking nihayetinde neden bir sorun?

“P-hacking seni bir büyücü yapar”. Kaynak: SMBC Comics.

Soru cevaplamaya fazla açık gibi görünse de, p-hacking’in neden yanlış ve etik dışı olduğuna dair nedenlerin dökümünü yapmak, sahte anlamlılık sorununun “önemini” daha iyi anlamamıza da yardımcı olabilir.

Basitçe söylemek gerekirse, manipülatiftir

P-hacking özünde, metodolojiyi ya da sonuçları manipüle etmenin sonucudur. Kasıtlı yapılırsa, (yayımlanmak ya da tanınmak gibi) kişisel faydadan başka bir nedenle olmaksızın yalan söylemeye benzer. Kasıtsız yapılırsa, yanlış bir yola sapıp sonunda yalancı pozitiflerin serabından başka bir şeye ulaşamamaya benzer.

Yanlış kararlara ve yıkıcı sonuçlara yol açabilir

Deneylerin, ister bilimde ister iş dünyasında olsun, sonuçları vardır. Karar vermek ya da sonuçlarının üzerine inşa etmek için yapılırlar. Eğer deney sonuçları uydurulmuşsa, buna dayalı kararlar temelsiz olur ve bazen yıkıcı sonuçlara yol açabilir.

Örneğin onkoloji ve nöroloji gibi hassas alanlardaki araştırmalar, tedavi ve ilaç geliştirmeye kolektif olarak katkıda bulunabilir. Kurucu nitelikteki araştırmaların bir kısmının manipüle edilmiş olması felaket olurdu.

İş dünyasında yanlış kararlar, başarısız bir ürün çıkarmaktan kaynakları tüketmeye, birinin işten çıkarılmasından iflasa kadar gidebilir. Basit bir p-hack bile kelebek etkisi yaratabilir.

Bilimsel yönteme olan güveni aşındırır

Tekrarlanabilirlik krizi, tüm bilim hakkında geniş bir kuşkuculuğa yol açtı; bu durum siyasi söylemde bile ifade buluyor. Bilimsel bulgular karşısında eleştirel düşünme her zaman faydalı olsa da, her ampirik bulguyu bir kalemde silmek cehalet ve temelsiz kararlara sürükleyebilir.

İş dünyasında, daha küçük ölçekte, p-hacking ve benzeri şüpheli uygulamalar, şirket liderlerini veri odaklı karar almaktan vazgeçirip yalnızca sezgiye geri dönmeye itebilir; bu da veri biliminin bütün olarak vaat ettiği ve gerçekten başarabileceğinin tam tersidir.

Bilginin birikimli doğusunu sarsar

İnsan bilgisi birikimli doğasına dayanır. Her küçük deney, daha büyük bir bilgi yapısına giden yolu döşeyen bir yapı taşıdır. Bu yapı taşlarının sayısı, p-hacking gibi şüpheli uygulamalar nedeniyle artan biçimde sallantılı hale geldiğinde, bu birikimin potansiyeli akamete uğrar. Yeni bir deney inşa etmek için önceki literatürü bulma gibi basit bir uygulama bile, mayın tarlasında yol bulmaya dönüşebilir.

Uyarı İşaretleri ve P-Hacking Nasıl Tespit Edilir?

P-hacking ve yöntemleri hakkında artık bildiklerimize dayanarak, p-hack’leri tespit etmemize yardımcı olabilecek bazı uyarı işaretlerini çıkarabiliriz. Bu işaretlerin çoğunu fark etmek hâlâ meraklı bir zihin, eleştirel düşünme ve içgözlem gerektirir. Bazıları kapsamlı alan bilgisine bile dayanır.

Aşırı sansasyonel sonuçlar

Sansasyonel deney sonuçları genellikle bir tutam tuz olmadan alınamayacak kadar şüphelidir. Basın ve sosyal medya trendleri tarafından kolayca kapılan “çikolata kilo kaybına yol açabilir” gibi iddialar, kendiliğinden doğru kabul edilmeye hazır görünmez. 

İş dünyasında, bir web sitesindeki küçük bir özellikle kârın %100 artacağını vaat eden bir test de benzer şekilde sansasyonel sayılabilir. 

Böyle bir çalışmayla karşılaştığınızda ve sizi ilgilendiriyorsa, bulguları kabul etmeden önce metodoloji ve sonuçları mutlaka tekrar kontrol edin.

Metodolojide şeffaflık eksikliği

Metodolojisi net olmayan ya da bazı metodoloji bileşenlerini bildirmeyen deneylere dikkat edin. Başlangıç hipotezleri, anlamlılık düzeyi, örneklem büyüklüğü, toplanan değişkenler, seçilen test türü ve veri hazırlama adımları konusunda açık olmak, sağlam bir bilimsel süreç için esastır. Bu bileşenlerin herhangi birinde belirsizlik bir uyarı işaretidir.

Gereksiz veri dönüşümü

Deneyde veri hazırlama kapsamında değişken dönüşümleri varsa, gerekçeyi iki kez kontrol edin; zira gerekçenin açıklanmış olması gerekir. Açıklanmamışsa ya da ikna edici değilse bu durum p-hacking’in doğrudan göstergesi olabilir.

Gerekçelendirilmemiş küçük örneklem

Küçük örneklem büyüklüğü, çalışmanın istatistiksel gücünü düşürür ve yalancı negatif riskini artırır. Ancak seçmeci raporlama ya da p-hacking ile birleştiğinde, düşük güçlü çalışmalar yayımlanmış literatürde yalancı pozitif oranını da yükseltebilir.

Bazı alanlarda, klinik araştırmalar, çevre çalışmaları, mühendislik ve kalite kontrolde olduğu gibi, küçük örneklemler kabul edilebilir ve yaygındır. Ancak genel olarak, daha büyük örneklemler daha iyi çıkarımlara ve dolayısıyla yalancı pozitiflere ve gerçekte anlamlı olmayan p-değerlerine daha az olasılıkla yol açar. 

Her durumda, küçük örneklem büyüklüğü gerekçelendirilmemişse, bu durum istatistiksel gücün düşük olduğunu ve yalancı pozitif riskinin arttığını gösterebilir. Bazı durumlarda, daha önce bahsettiğim, anlamlılığa ulaşılır ulaşılmaz veri toplamayı durdurmak (erken durdurma) gibi belirli bir p-hacking uygulamasına da işaret edebilir.

Belirsiz etki büyüklüğü

Etki büyüklüğü, değişkenler arasındaki ilişkinin gücünü ya da büyüklüğünü ölçer ve bir sonucun istatistiksel anlamlılığına bağlam kazandırır. Bir çalışma istatistiksel anlamlılık bildiriyor ama açık ya da anlamlı bir etki büyüklüğü sunmuyorsa, bu şüphe uyandırır. 

Bir p-değeri, sonucun rastlantı eseri olmasının düşük ihtimalini gösterebilir; ancak etki büyüklüğü olmadan bulguların pratik anlamını belirlemek zordur. P-hack’lenmiş çalışmalarda etki büyüklüğü konusunda net olmamak, araştırmacıların diğer hususları umursamadan istatistiksel anlamlılığa ulaşmaya aşırı odaklandıklarına işaret edebilir

Belirtilen hipotez ile sonuç arasında tutarsızlık

Bir çalışmanın sonuçları başlangıç hipotezinden önemli ölçüde sapıyorsa, soru işaretleri doğmalıdır. Bu, araştırmacıların sonuçlara uydurmak için hipotezlerini ya da yöntemlerini veri toplandıktan sonra değiştirdiklerinin işareti olabilir; bu uygulama HARKing (Sonuçlar Bilindikten Sonra Hipotez Kurma) olarak bilinir. 

Örneğin bir deney belirli bir hipotezi test ettiğini iddia ediyor, ancak nihai analiz alakasız değişkenlere ya da çıktılara odaklanıyorsa, bu p-hacking’e işaret edebilir. Belirtilen hipotez ile nihai sonuçların uyumlu olduğundan emin olmak için her zaman karşılaştırın.

Olağandışı yüksek etki büyüklüğü

Olağandışı yüksek bir etki büyüklüğü p-hacking için bir uyarı işareti olabilir. Gerçek dünyada etkiler çoğu zaman küçük ile orta düzey arasındadır; özellikle psikoloji, tıp veya sosyal bilimlerde. Uygun örneklem büyüklüğünü yargılamak gibi, bir etki büyüklüğünün ne kadar makul olduğunu anlamak da yoğun alan uzmanlığı gerektirir.

Bir çalışma alışılmadık derecede büyük bir etki büyüklüğü bildiriyorsa, verilerin seçmeci biçimde manipüle edildiğini ya da örneklemin bir şekilde yanlı olduğunu gösterebilir. Araştırmacılar, bulgularını gerçekte olduğundan daha etkileyici göstermek için etki büyüklüğünü düşürecek verileri kasıtlı ya da kasıtsız olarak hariç tutmuş olabilir (post-hoc ikame p-hack’i).

Anlamlılık düzeyinin hemen altında bir p-değeri

Raporlanan p-değeri, anlamlılık eşiğinin hemen altındaysa (ör. p = 0,049 ve eşiğin p < 0,05 olduğu bir çalışmada), araştırmacıların p-hacking yaptığını gösterebilir. 

Bunun nedeni, testleri defalarca çalıştırmak ya da değişkenleri kurcalamak suretiyle, şans eseri anlamlılık eşiğini kıl payı aşan bir sonuca ulaşılabilmesidir. Sürekli olarak anlamlılık düzeyinin hemen altında dolaşan sonuç kalıpları, araştırmacıların (erken durdurma) istedikleri sonuca ulaşır ulaşmaz veri toplamayı bırakmış olabileceklerini ya da belirli analizleri seçmeci biçimde raporlamış olabileceklerini (post-hoc ikame) düşündürür.

Tekrarlanamazlık

P-hacking’in en güçlü göstergelerinden biri bir çalışmanın bulgularının tekrarlanamamasıdır. Bağımsız araştırmacılar aynı metodolojiyi kullanarak sonuçları tekrarlayamıyorsa, bu durum orijinal bulguların p-hacking ya da seçmeci raporlamanın sonucu olduğunu gösterebilir. 

Tekrarlanabilirlik bilimsel dürüstlüğün temelidir ve tutarlı biçimde yeniden üretilemeyen sonuçlar, orijinal analizin hatalı ya da manipüle edilmiş olabileceğini düşündürür.

Olumlu İşaretler ve P-Hacking Nasıl Önlenir?

Yukarıdaki uyarı işaretlerini tersine çevirerek p-hacking’i önlemenin yollarını da çıkarabiliriz. Bu yollar, son on yılda bilim camiasının söyleminde tekrarlanabilirlik krizine bir yanıt olarak zaten öne çıkmaya başladı.

İstatistik bilgisi

Sağlam bir istatistiksel ilke bilgisi, p-hacking’i önlemek için esastır. Analistler gerekli bilgiye sahip olduklarında, p-değerlerini yanlış yorumlama ya da çoklu karşılaştırmaları uygunsuz ele alma gibi yaygın tuzaklardan kaçınmaya daha yatkındır.

Örneğin bir web sitesi özelliği için A/B testinde, bilgili bir analist, p-değerinin nihai hedef olmadığını anlayacaktır; zira test düşük bir p-değeri verse bile etki büyüklüğü yeterince büyük olmayabilir ve bu nedenle pratik bir anlam taşımayabilir. İstatistiksel anlamlılık ile pratik anlamlılık arasındaki farkı anlamak, analistlerin p-değerine aşırı odaklanmamasına yardımcı olur; bu da p-hacking uygulamalarına yol açabilecek bir odaktan kaçınarak sonuçları daha olumlu göstermek için manipüle etme olasılığını düşürür.

Ön kayıt (pre-registration)

Bilimsel araştırmalarda ön kayıt, veri toplamadan önce hipotezler, yöntemler ve analiz teknikleri de dâhil olmak üzere araştırma ya da test planını ana hatlarıyla belirlemeyi içerir. Bu süreç, analizin nasıl yürütüleceğine dair kararları kilitleyerek p-hacking’i önler; böylece anlamlı bir sonuca ulaşmak için analizi sonradan değiştirmek zorlaşır.

İş dünyasında benzer uygulamalar veri ekipleri düzeyinde bile yapılabilir. Örneğin, yeni bir fiyatlandırma modelinin etkisini ölçmek için bir deney yürütmeden önce ekip hipotezi önceden belgelendirip kurum içinde ilan edebilir; test edilecek değişkenleri (ör. gelir, müşteri edinim oranı), anlamlılık düzeyini ve örneklem büyüklüğünü belirtebilir. Bu, ekibin orijinal plana bağlı kalmasını ve ilk sonuçları gördükten sonra analizi değiştirmemesini sağlar; böylece post-hoc ikame ve yalnızca olumlu sonuç veren verileri seçme uygulamalarından kaçınılır.

Açık bilim uygulamaları

Açık bilim, verilerin, yöntemlerin ve analizlerin başkalarının incelemesine ve tekrarına açılmasını ifade eder. İş dünyasında “açık bilim” terimi doğrudan kullanılmasa da, benzer şeffaflık uygulamaları analizlerin bütünlüğü için önemlidir.

Örneğin bir şirket, pazar analizi yaparken ham verilerini ve analiz adımlarını kurum içinde diğer ekipler, denetçiler veya ilgili paydaşlarla paylaşabilir ya da gelecekte yinelenmek üzere sistematik olarak belgelendirebilir. Bu şeffaflık p-hacking’i caydırır; çünkü herkes metodolojideki tutarsızlıkları ya da kusurları kontrol edebilir. Bir organizasyonda yöntemler ve sonuçlar hakkında açık olmak hesap verebilirliği besler ve çıkarımların sağlam, tekrar edilebilir verilere dayandığından emin olmaya yardımcı olur.

Veri hazırlama ve dönüşümde yapılan seçimleri gerekçelendirme

Veri hazırlama ve dönüşüm adımları her zaman iyi gerekçelendirilmelidir. Açık bir gerekçe olmaksızın aykırı değerleri kaldırmak ya da değişkenleri dönüştürmek, sonuçları manipüle etmek ve sahte bir anlatı oluşturmak için kullanılabilir.

Örneğin müşteri satın alma verilerini analiz ederken bir analist, modele uymuyor görünen belirli veri noktalarını (ör. aşırı aykırı değerler) hariç tutabilir. Ancak bunları normal dağılımın parçası değil de gerçek anomaliler olarak tanımlamak gibi geçerli bir neden olmaksızın yapılan bu uygulama, p-hacking sayılabilir. Bunu önlemek için, belirli dönemleri hariç tutmak ya da log dönüşümü uygulamak gibi her veri hazırlama adımı analiz raporunda açıkça gerekçelendirilerek şeffaflık sağlanmalıdır.

Etki büyüklüğünü beyan etmek ve dikkate almak

İstatistiksel anlamlılığın ötesinde, etki büyüklüklerini raporlamak ve yorumlamak kritik önemdedir. Bu, sonuçların pratik açıdan anlamlı olmasını ve yalnızca büyük örneklem büyüklükleri nedeniyle istatistiksel anlamlılığa yaslanmamasını sağlar.

İş dünyasında, yeni bir ürün açıklamasının dönüşüm oranlarını %0,5 artırdığı bir A/B testini düşünün; örneklem büyüklüğü bu sonucu istatistiksel olarak anlamlı kılacak kadar büyük olabilir. Bağlam olmadan bu değişim yanlış biçimde anlamlı görülebilir. Ancak etki büyüklüğüne odaklanıp %0,5’lik artışın tüm ürün açıklamalarını değiştirme maliyetini haklı çıkarıp çıkarmadığını sorarak, şirketler yalnızca p-değerlerine dayanarak karar verme hatasından kaçınabilir.

Deneyin birden çok kez yürütülmesine izin vermek, ancak düzeltme yöntemleriyle birlikte

Aynı testin (ya da farklı testlerin) aynı veri üzerinde çalıştırılmasının, rastlantı eseri anlamlı bir sonuç verme ihtimalini artırarak bir p-hack sayılabileceğini söylemiştik. Ancak, aynı testin aynı veri üzerinde birden çok kez çalıştırılması, —yalnız ve yalnız— düzeltme yöntemleriyle birlikte yapılırsa p-hacking’den sakınmak ve onu fark etmek için iyi bir önlem olabilir. Bu yöntemler, çoklu karşılaştırmalar yapıldığı gerçeğini ayarlamak için kullanılan istatistiksel tekniklerdir. En yaygın iki yöntem Bonferroni düzeltmesi ve Benjamini-Hochberg (BH) prosedürüdür.

Bonferroni, p-değeri eşiğini (anlamlılık düzeyini) aşağı yönlü ayarlayıp yapılan test sayısına bölmeyi içerir. Yalancı pozitif olasılığını azaltmada etkilidir; ancak gereğinden fazla tutucu olabilir ve yalancı negatif olasılığını artırabilir. 

Buna karşılık BH prosedürü, iki tür hata olasılığı arasında denge kurmayı amaçlayan Yanlış Keşif Oranı (FDR) kontrol tekniklerinden biridir. Kısaca, BH prosedürü, birden çok testten elde edilen tüm p-değerlerini küçükten büyüğe sıralayarak çalışır. Her p-değeri, sırasıyla artan bir eşikle karşılaştırılır. Hâlâ kendi eşiğinin altında kalan en büyük p-değeri belirlenir ve bu noktaya kadar olan tüm p-değerleri anlamlı kabul edilir.

İş bağlamında, bir şirket bir açılış sayfasının birkaç sürümünü test ediyorsa, çok sayıda A/B testi yürütmek ve sürümlerden biri anlamlı biçimde daha iyi görünür görünmez durmak cazip gelebilir. Bunu önlemek için analist, yürütülen çoklu testleri hesaba katacak düzeltmeler uygulayabilir. Böylece, ulaşılan anlamlı bulguların yalnızca tekrarlanan testlerin sonucu olmadığından emin olunur.

Anlamsız sonuçları da dikkate almak

Son olarak, anlamsız (non-significant) sonuçları görmezden gelmek yerine kabul etmek ve raporlamak önemlidir. Bilim camiasında, katı bir ön kayıt metodolojisini izleyen deneylerin sonuçları anlamsız olsa bile yayımlanmasına izin verilmesi yönünde çağrılar yapıldı; çünkü bulgu yokluğu bulgusu da bir bulgudur! Benzer bir anlayış iş dünyasında da izlenebilir.

Örneğin bir pazarlama kampanyası satışları anlamlı biçimde etkilemiyorsa, bir şirket yine de bu bulguyu raporlamalı ve değerlendirmelidir. Bu, değerli bilgiler sunar ve haksız iş kararlarına yol açabilecek çarpık raporlamayı önler. Anlamsız sonuçlar hakkında açık olmak, daha dürüst bir analize katkıda bulunur ve başarı göstermek uğruna verileri manipüle etme cazibesinden kaçınmayı sağlar.

Sonuç

Bu yazıda, p-değerinin manipülasyona açık olabildiği p-hacking dünyasını derinlemesine inceledik. Çeşitli p-hack’lere, bunların nasıl tespit edileceğine ve nasıl önlenebileceğine baktık.

Gördüğünüz gibi ve belirttiğimiz üzere, p-hacking konusunda bilinçli olmanın büyük bir kısmı güçlü bir istatistik bilgisine sahip olmaktır. Bunu, teorik İstatistiğe Giriş kursumuzun yanı sıra, uygulamalı Google Sheets’te İstatistiğe Giriş, Python’da İstatistiğe Giriş ve R’da İstatistiğe Giriş kurslarımız gibi çeşitli istatistik kurslarımızla edinebilirsiniz.