Kursus
Pengantar Statistika
4 jam
163.9K
Selamat datang di bagian ketujuh dari rangkaian data demystified selama sebulan. Sebagai bagian dari Bulan Literasi Data, seri ini akan menjelaskan konsep-konsep kunci dari dunia data, menjawab pertanyaan yang mungkin Anda enggan untuk ajukan, dan bersenang-senang di sepanjang jalan. Jika Anda ingin mulai dari awal, baca entri pertama kami dalam seri ini: Apa itu Dataset?
Pada entri ini, kita akan mengeksplorasi salah satu kasus penggunaan utama dalam data: pengujian A/B. Meskipun Anda mungkin belum pernah mendengarnya—jika Anda pernah menggunakan layanan atau situs digital—besar kemungkinan Anda sendiri pernah menjadi bagian dari pengujian A/B. Sepanjang artikel blog ini, kami akan menguraikan apa itu uji A/B, bagaimana umumnya pengujiannya disusun, dan beberapa contoh uji A/B yang menonjol dari layanan populer seperti Airbnb, Netflix, dan Gojek.
Apa itu Pengujian A/B?
Pengujian A/B membandingkan performa dua versi dari hal yang sama, sering kali sebuah halaman web atau produk digital. Secara lebih luas, pengujian A/B adalah kerangka kerja yang memungkinkan Anda menyiapkan eksperimen dengan cepat, menganalisis hasilnya menggunakan analisis statistik, dan mengambil keputusan berdasarkan hasil tersebut.
Pengujian A/B membantu tim memvalidasi pertanyaan kunci seperti “Apakah mengubah warna tombol meningkatkan jumlah klik?” atau “Apakah menggunakan poster film yang satu atau yang lain meningkatkan jumlah penayangan untuk sebuah judul film?”.
Pengujian A/B menetapkan kausalitas. Jika beranda dengan tombol merah menghasilkan lebih banyak klik daripada tombol biru–dengan semua hal lain konstan–kita dapat menyimpulkan bahwa tombol merah menyebabkan peningkatan klik. Tak perlu diragukan, uji A/B adalah alat yang praktis bagi tim berbasis data yang ingin mengoptimalkan produknya.
Bagaimana Cara Kerja Pengujian A/B?
Pengujian A/B dapat menghasilkan keajaiban, tetapi hanya jika langkah-langkahnya diikuti dengan cermat. Berikut beberapa langkah penting dalam merancang uji A/B yang sukses:
1. Rumuskan hipotesis
Hipotesis menyatakan bagaimana perubahan suatu variabel uji memengaruhi metrik kinerja pada suatu populasi. Contoh hipotesis adalah sebagai berikut:
“Mengubah warna tombol tambah ke keranjang dari biru menjadi merah (variabel uji) akan meningkatkan tingkat konversi (metrik kinerja) pada semua pengguna desktop (populasi)”.
Salah satu jebakan umum adalah memiliki beberapa variabel uji dalam satu eksperimen, yang membuat sulit untuk mengurai dampak masing-masing perubahan terhadap metrik.
2. Buat versi kontrol dan perlakuan untuk variabel uji Anda
Istilah “A/B” dalam pengujian A/B mengacu pada dua versi dari hal yang Anda uji.
Secara umum, kontrol adalah “Versi A” dari produk atau versi yang sudah ada dari variabel uji yang Anda uji. Sedangkan “Versi B” adalah perlakuan atau versi baru dari variabel uji yang Anda uji.
Menggunakan contoh yang sama dari tombol tambah ke keranjang, kontrol (Versi A) adalah tombol tambah ke keranjang berwarna biru yang sudah ada, sementara perlakuan (Versi B) adalah tombol merah yang baru.
3. Tentukan ukuran sampel untuk signifikansi statistik
Tergantung pada kasus penggunaan dan jumlah pengguna yang dimiliki suatu layanan, menjalankan uji A/B pada seluruh populasi bisa jadi tidak memungkinkan. Alternatif terbaik berikutnya adalah menjalankan uji A/B pada subset atau sampel pengguna. Untuk melakukan ini, praktisi biasanya menentukan sampel pengguna yang signifikan secara statistik yang cukup besar agar mereka dapat menarik kesimpulan tentang populasi.
Misalnya, ketika kembali ke contoh tombol tambah ke keranjang, uji A/B akan dijalankan pada sebagian pengguna desktop, bukan semua pengguna desktop.
4. Pilih kelompok acak untuk kontrol dan perlakuan
Setiap pengguna dalam eksperimen ditunjukkan versi A atau versi B. Bagaimana kita memutuskan apakah seorang pengguna diberi kontrol atau perlakuan?
Untuk memastikan pengujian adil, para praktisi biasanya membagi sampel menjadi kelompok perlakuan dan kontrol secara acak (artinya, setiap pengguna memiliki probabilitas yang sama untuk berada di perlakuan atau kontrol) dan secara seimbang (artinya, kelompok perlakuan dan kontrol berukuran sama).
5. Jalankan pengujian, dan analisis hasilnya
Dengan fondasi yang sudah siap, uji A/B siap dijalankan. Setelah ukuran sampel yang cukup besar tercapai, hasil uji A/B dapat dianalisis.
Untuk menganalisis hasil, kita menghitung perbedaan pada metrik uji–tingkat konversi–antara kelompok perlakuan dan kontrol. Jika perbedaannya cukup signifikan, kita dapat menyimpulkan dengan yakin bahwa satu versi memang lebih baik daripada yang lain.
6. Iterasi, iterasi, iterasi
Jika pemenang yang jelas muncul dari uji A/B, versi yang lebih unggul kini dapat diluncurkan! Para praktisi juga melakukan pendalaman data untuk lebih memahami perilaku pengguna. Uji A/B hanyalah bagian kecil dari proses optimalisasi. Pembelajaran yang diperoleh dari menjalankan uji A/B dapat memicu ide dan hipotesis baru yang pada gilirannya dapat diuji validitasnya.
Contoh Pengujian A/B
Kebanyakan perusahaan teknologi tidak asing dengan uji A/B. Faktanya, Anda mungkin pernah berada di kelompok kontrol atau perlakuan untuk uji A/B yang dijalankan oleh layanan yang Anda gunakan. Berikut beberapa contoh uji A/B yang menonjol di alam liar dari beberapa situs dan layanan paling populer saat ini:
1. Pengujian A/B di Airbnb
Beberapa contoh uji A/B yang sangat baik berasal dari Airbnb. Airbnb selalu memiliki budaya eksperimen dan uji A/B yang kuat. Dalam posting blog dari tahun 2014 ini, mereka mengulas secara mendalam bagaimana mereka menguji perubahan nilai maksimum filter harga pada halaman pencarian dari $300 menjadi $1000.
Airbnb menguji perubahan pada filter harga maksimum
Dalam contoh lain, tim menampilkan contoh beranda yang didesain ulang dan membahas bagaimana hal tersebut berdampak pada penggunaan platform Airbnb. Meskipun agak teknis, artikel tersebut memberikan contoh yang bagus tentang bagaimana uji A/B berperan penting dalam kesuksesan Airbnb sebagai sebuah produk.
Airbnb menggunakan uji A/B untuk memutuskan antarmuka pengguna yang lebih baik
2. Pengujian A/B di Netflix
Melalui serangkaian uji A/B, Netflix memilih karya seni terbaik untuk berbagai judul dan secara jelas meningkatkan jumlah jam streaming. Sisi positif dari uji A/B adalah mengungkap wawasan mendalam tentang perilaku dan pengalaman pengguna. Misalnya, dengan menjalankan pengujian ini, Netflix menentukan bahwa karya seni dengan ekspresi wajah yang kuat yang menyampaikan nuansa judul berkinerja sangat baik.
Contoh karya seni untuk Unbreakable Kimmy Schmidt milik Netflix
3. Pengujian A/B di Gojek
Gojek, aplikasi serba ada yang sangat populer di Indonesia, menggunakan uji A/B untuk menemukan jumlah produk optimal untuk ditampilkan di berandanya. Tim produk kemudian menggunakan umpan balik tersebut untuk memutuskan varian eksperimen mana yang digulirkan ke semua pengguna. Ini adalah salah satu dari banyak kasus penggunaan uji A/B yang ditemukan di Gojek. Anda juga dapat mempelajari lebih lanjut tentang budaya data Gojek dengan mendengarkan episode DataFramed ini.
Gojek menggunakan platform eksperimen internal untuk memutuskan desain beranda mereka
Mulai dengan Data Hari Ini
Kami harap Anda menikmati pengantar singkat tentang uji A/B ini. Pada entri berikutnya dari seri ini, kami akan melihat dunia visualisasi data dan menguraikan cara menafsirkan visualisasi yang paling umum digunakan saat ini.
Jika Anda ingin memulai perjalanan belajar data Anda hari ini, lihat sumber daya berikut.
Topik
