Kurs
İstatistiklere Giriş
4 sa
163.9K
Bir ay sürecek veriyi anlamak serimizin yedinci bölümüne hoş geldiniz. Veri Okuryazarlığı Ayı kapsamında, bu seri veri dünyasındaki temel kavramları netleştirecek, sormaya çekinebileceğiniz soruları yanıtlayacak ve bunu yaparken keyifli bir yolculuk sunacak. Baştan başlamak isterseniz, serinin ilk yazısını okuyun: Veri Kümesi Nedir?
Bu yazıda, verideki temel kullanım alanlarından biri olan A/B testini inceleyeceğiz. Daha önce hiç duymamış olsanız bile—eğer bir dijital hizmeti ya da siteyi kullandıysanız—büyük olasılıkla bir A/B testinin parçası olmuşsunuzdur. Yazı boyunca A/B testlerinin ne olduğuna, genelde nasıl kurulduğuna ve Airbnb, Netflix ve Gojek gibi popüler hizmetlerden dikkat çekici A/B testi örneklerine değineceğiz.
A/B Testi Nedir?
A/B testi, aynı şeyin iki sürümünün performansını karşılaştırır; bu genellikle bir web sayfası ya da dijital üründür. Daha geniş açıdan bakıldığında A/B testi, deneyleri hızlıca kurmanıza, sonuçlarını istatistiksel analizle değerlendirmenize ve bu sonuçlara dayanarak karar almanıza olanak tanıyan bir çerçevedir.
A/B testleri ekiplerin şu tür kilit soruları doğrulamasına yardımcı olur: “Bir düğmenin rengini değiştirmek tıklama sayısını artırır mı?” ya da “Farklı film afişleri kullanmak, bir film başlığının izlenme sayısını artırır mı?”.
A/B testi nedenselliği ortaya koyar. Ana sayfadaki kırmızı bir düğme, diğer her şey sabitken, mavi düğmeye kıyasla daha fazla tıklama sağlıyorsa; kırmızı düğmenin tıklama sayısındaki artışa neden olduğunu söyleyebiliriz. Kısacası, A/B testleri ürünlerini optimize etmek isteyen veri odaklı ekipler için son derece kullanışlı bir araçtır.
A/B Testi Nasıl Çalışır?
A/B testleri harikalar yaratabilir, ancak yalnızca adımlar titizlikle izlendiğinde. Başarılı bir A/B testi tasarlamanın bazı kritik adımları şunlardır:
1. Bir hipotez oluşturun
Hipotez, bir test değişkenindeki değişimin bir kitle üzerindeki performans metriğini nasıl etkilediğini ifade eder. Örnek bir hipotez şöyledir:
“Sepete ekle düğmesinin rengini mavi yerine kırmızıya (test değişkeni) çevirmek, tüm masaüstü kullanıcılarında (kitle) dönüşüm oranını (performans metriği) artıracaktır.”
Yaygın bir hata, tek bir deneyde birden fazla test değişkeni kullanmaktır; bu da her değişikliğin metrik üzerindeki etkisini ayrıştırmayı zorlaştırır.
2. Test değişkeninizin kontrol ve tedavi sürümlerini oluşturun
A/B testindeki “A/B” terimi, test ettiğiniz şeyin iki sürümünü ifade eder.
Gündelik kullanımda, kontrol “Sürüm A”dır; yani test ettiğiniz ürünün ya da test değişkeninin mevcut sürümüdür. “Sürüm B” ise tedavidir; yani test ettiğiniz test değişkeninin yeni sürümüdür.
Aynı sepete ekle düğmesi örneğini kullanırsak, kontrol (Sürüm A) mevcut mavi sepete ekle düğmesiyken, tedavi (Sürüm B) yeni kırmızı düğmedir.
3. İstatistiksel anlamlılık için örneklem büyüklüğünü belirleyin
Kullanım durumuna ve bir hizmetin kullanıcı sayısına bağlı olarak, A/B testini tüm kitle üzerinde yürütmek imkansız olabilir. En iyi alternatif, A/B testini kullanıcıların bir alt kümesi veya örneklem üzerinde yürütmektir. Bunu yapmak için uygulayıcılar genellikle, kitle hakkında çıkarım yapmalarına yetecek kadar büyük, istatistiksel olarak anlamlı bir kullanıcı örneklemi belirler.
Örneğin, sepete ekle düğmesi örneğimize dönersek, A/B testi tüm masaüstü kullanıcıları yerine masaüstü kullanıcılarının bir kısmı üzerinde yürütülür.
4. Kontrol ve tedavi için rastgele gruplar seçin
Deneydeki her kullanıcıya ya sürüm A ya da sürüm B gösterilir. Peki bir kullanıcıya kontrol mü tedavi mi verileceğine nasıl karar verilir?
Testin adil olmasını sağlamak için, uygulayıcılar genellikle örneklemi tedavi ve kontrol gruplarına rastgele (yani her kullanıcının tedaviye ya da kontrole düşme olasılığı aynı olacak şekilde) ve eşit (yani tedavi ve kontrol gruplarının büyüklükleri eşit olacak şekilde) böler.
5. Testi yürütün ve sonuçları analiz edin
Ön hazırlık tamamlandığında, A/B testi çalışmaya hazırdır. Yeterince büyük bir örnekleme ulaşıldığında, A/B testinin sonuçları analiz edilebilir.
Sonuçları analiz etmek için, tedavi ve kontrol grupları arasındaki test metriğindeki–dönüşüm oranı–farkı hesaplarız. Fark yeterince büyükse, bir sürümün diğerinden gerçekten daha iyi olduğu sonucuna güvenle varabiliriz.
6. Yinele, yinele, yinele
A/B testinden net bir kazanan çıkarsa, üstün sürüm artık yayına alınabilir! Uygulayıcılar ayrıca kullanıcı davranışını daha iyi anlamak için verilere derinlemesine bakar. A/B testi, optimizasyon sürecinin yalnızca küçük bir parçasıdır. A/B testlerinden elde edilen öğrenimler, geçerliliği yine test edilebilecek yeni fikir ve hipotezlere ilham verebilir.
A/B Testi Örnekleri
Çoğu teknoloji şirketi A/B testlerine yabancı değildir. Hatta, büyük olasılıkla kullandığınız bir hizmetin yürüttüğü bir A/B testinde kontrol veya tedavi grubunda yer aldınız. İşte günümüzün en popüler site ve hizmetlerinden bazı gerçek dünya A/B testi örnekleri:
1. Airbnb'de A/B Testi
Airbnb'den birkaç mükemmel A/B testi örneği vardır. Airbnb her zaman güçlü bir deney ve A/B testi kültürüne sahip olmuştur. 2014 tarihli bu blog yazısında, arama sayfasındaki fiyat filtresinin maksimum değerini 300 $'dan 1000 $'a değiştirmeyi nasıl test ettiklerini ayrıntılı biçimde ele alıyorlar.
Airbnb, maksimum fiyat filtresindeki değişiklikleri test ediyor
Başka bir örnekte, ekip yeniden tasarlanan bir ana sayfa örneği sunuyor ve bunun Airbnb platformunun kullanımını nasıl etkilediğini tartışıyor. Biraz teknik olsa da, makale A/B testlerinin Airbnb'nin bir ürün olarak başarısında nasıl belirleyici olduğunu harika biçimde gösteriyor.
Airbnb, daha iyi bir kullanıcı arayüzüne karar vermek için A/B testini kullanıyor
2. Netflix'te A/B Testi
Bir dizi A/B testi sayesinde Netflix, çeşitli başlıklar için en iyi görselleri seçti ve izleme saatlerini net biçimde artırdı. A/B testlerinin güzel bir yan ürünü de kullanıcı davranışı ve deneyimine dair derin içgörüler sunmalarıdır. Örneğin bu testi yürüterek, başlığın tonunu yansıtan belirgin yüz ifadelerinin yer aldığı görsellerin olağanüstü performans gösterdiğini belirlediler.
Netflix’in Unbreakable Kimmy Schmidt yapımı için görsel örnekleri
3. Gojek'te A/B testi
Endonezya'da yaygın olarak kullanılan çok amaçlı uygulama Gojek, ana sayfasında gösterilecek optimal ürün sayısını bulmak için A/B testleri kullanır. Ürün ekibi daha sonra geri bildirimleri kullanarak hangi deney varyantının tüm kullanıcılara sunulacağına karar verir. Bu, Gojek'teki birçok A/B testi kullanım alanından yalnızca biridir. Ayrıca Gojek'in veri kültürü hakkında daha fazla bilgiyi DataFramed’in bu bölümünü dinleyerek edinebilirsiniz.
Gojek, ana sayfa tasarımına karar vermek için dahili bir deney platformu kullandı
Bugün Veriye Başlayın
Bu kısa A/B testi tanıtımından keyif aldığınızı umuyoruz. Serinin bir sonraki yazısında, veri görselleştirme dünyasına bakacak ve bugün en yaygın kullanılan görselleştirmelerin nasıl yorumlanacağını ele alacağız.
Veri öğrenme yolculuğunuza bugün başlamak isterseniz, aşağıdaki kaynaklara göz atın.
Konular
