Giải Mã Dữ Liệu: A/B Testing là gì?

A/B Testing hoạt động như thế nào?

A/B testing mang lại hiệu quả ấn tượng, nhưng chỉ khi các bước được thực hiện cẩn trọng. Dưới đây là một số bước quan trọng để thiết kế một A/B test thành công:

1. Đưa ra giả thuyết

Một giả thuyết nêu cách việc thay đổi một biến kiểm thử tác động đến một chỉ số hiệu suất trên một quần thể. Ví dụ về giả thuyết như sau:

“Đổi màu nút thêm vào giỏ hàng từ xanh sang đỏ (biến kiểm thử) sẽ làm tăng tỷ lệ chuyển đổi (chỉ số hiệu suất) trên tất cả người dùng máy tính để bàn (quần thể)”. 

Một cạm bẫy phổ biến là có nhiều biến kiểm thử trong một thí nghiệm, khiến việc tách bạch tác động của từng thay đổi lên chỉ số trở nên khó khăn. 

2. Tạo phiên bản đối chứng và phiên bản xử lý của biến kiểm thử

Thuật ngữ “A/B” trong A/B testing đề cập đến hai phiên bản của đối tượng bạn đang kiểm thử. 

Theo cách nói thông dụng, đối chứng là “Phiên bản A” của sản phẩm hoặc phiên bản hiện có của biến kiểm thử bạn đang thử nghiệm. Còn “Phiên bản B” là phiên bản xử lý, tức phiên bản mới của biến kiểm thử bạn đang thử nghiệm.

Vẫn với ví dụ về nút thêm vào giỏ hàng, đối chứng (Phiên bản A) là nút màu xanh hiện có, trong khi phiên bản xử lý (Phiên bản B) là nút màu đỏ mới.

3. Xác định cỡ mẫu cho ý nghĩa thống kê

Tùy theo trường hợp sử dụng và số lượng người dùng của một dịch vụ, đôi khi không thể chạy A/B test trên toàn bộ quần thể. Phương án tốt tiếp theo là chạy A/B test trên một tập con hay mẫu người dùng. Để làm vậy, người thực hiện thường xác định một cỡ mẫu có ý nghĩa thống kê, đủ lớn để họ có thể rút ra kết luận về quần thể. 

Chẳng hạn, với ví dụ về nút thêm vào giỏ hàng, A/B test sẽ được chạy trên một phần người dùng máy tính để bàn thay vì toàn bộ.

4. Chọn nhóm ngẫu nhiên cho đối chứng và xử lý

Mỗi người dùng trong thí nghiệm sẽ được xem hoặc phiên bản A hoặc phiên bản B. Vậy chúng ta quyết định thế nào để một người dùng vào nhóm đối chứng hay xử lý? 

Để đảm bảo phép thử công bằng, người thực hiện thường chia mẫu thành nhóm xử lý và đối chứng một cách ngẫu nhiên (tức mỗi người dùng có cùng xác suất vào nhóm xử lý hoặc đối chứng) và đồng đều (tức hai nhóm có kích thước bằng nhau). 

5. Chạy thử nghiệm và phân tích kết quả 

Sau khi chuẩn bị xong, A/B test sẵn sàng chạy. Khi đã đạt cỡ mẫu đủ lớn, có thể phân tích kết quả của A/B test. 

Để phân tích kết quả, chúng ta tính chênh lệch ở chỉ số kiểm thử–tỷ lệ chuyển đổi–giữa nhóm xử lý và nhóm đối chứng. Nếu chênh lệch đủ lớn, chúng ta có thể tự tin kết luận rằng một phiên bản thực sự tốt hơn phiên bản kia.

6. Lặp lại, lặp lại, lặp lại

Nếu có một phiên bản vượt trội rõ ràng từ A/B test, phiên bản đó giờ có thể được đưa lên môi trường thật! Người thực hiện cũng sẽ đào sâu dữ liệu để hiểu rõ hơn hành vi người dùng. A/B test chỉ là một phần nhỏ của quá trình tối ưu hóa. Những bài học rút ra từ việc chạy A/B test có thể truyền cảm hứng cho các ý tưởng và giả thuyết mới để tiếp tục kiểm chứng.

Ví dụ về A/B Testing 

Hầu hết các công ty công nghệ đều quen thuộc với A/B test. Thực tế, có lẽ bạn đã từng nằm trong nhóm đối chứng hoặc nhóm xử lý cho một A/B test mà dịch vụ bạn dùng đang triển khai. Dưới đây là một số ví dụ nổi bật về A/B test ngoài đời từ các trang và dịch vụ phổ biến hiện nay:

1. A/B Testing tại Airbnb

Một vài ví dụ xuất sắc về A/B test đến từ Airbnb. Airbnb luôn có văn hóa thử nghiệm và A/B testing mạnh mẽ. Trong bài blog từ năm 2014 này, họ đi sâu vào cách họ thử thay đổi giá trị tối đa của bộ lọc giá trên trang tìm kiếm từ $300 lên $1000.

Airbnb kiểm thử các thay đổi với bộ lọc giá tối đa

Ở một ví dụ khác, nhóm trình bày một trang chủ được thiết kế lại và thảo luận về cách nó ảnh hưởng đến việc sử dụng nền tảng Airbnb. Dù hơi kỹ thuật, bài viết là một ví dụ tuyệt vời cho thấy A/B test đã góp phần quan trọng vào thành công của Airbnb như một sản phẩm ra sao. 

Airbnb dùng A/B testing để quyết định giao diện người dùng tốt hơn 

2. A/B Testing tại Netflix

Qua một loạt A/B test, Netflix đã chọn được hình ảnh minh họa tốt nhất cho nhiều tựa phim và rõ ràng tăng số giờ xem. Một lợi ích phụ hay ho của A/B test là chúng tiết lộ những hiểu biết sâu sắc về hành vi và trải nghiệm người dùng. Ví dụ, bằng cách chạy thử nghiệm này, Netflix xác định rằng hình ảnh có biểu cảm khuôn mặt rõ ràng, truyền tải được tông màu của tựa phim hoạt động đặc biệt tốt.

Một mẫu hình ảnh cho Unbreakable Kimmy Schmidt của Netflix 

3. A/B testing tại Gojek

Gojek, ứng dụng tất cả-trong-một phổ biến ở Indonesia, dùng A/B test để tìm số lượng sản phẩm tối ưu để hiển thị trên trang chủ. Nhóm sản phẩm sau đó sử dụng phản hồi để quyết định biến thể thử nghiệm nào được triển khai cho tất cả người dùng. Đây chỉ là một trong nhiều trường hợp sử dụng A/B testing tại Gojek. Bạn cũng có thể tìm hiểu thêm về văn hóa dữ liệu của Gojek bằng cách nghe tập DataFramed này. 

Gojek dùng nền tảng thử nghiệm tự phát triển để quyết định thiết kế trang chủ 

Bắt đầu với dữ liệu ngay hôm nay

Chúng tôi hy vọng bạn thích phần giới thiệu ngắn gọn về A/B testing này. Ở phần tiếp theo của loạt bài, chúng ta sẽ xem xét thế giới trực quan hóa dữ liệu và phân tích cách diễn giải những dạng trực quan hóa được dùng phổ biến nhất hiện nay.

Nếu bạn muốn bắt đầu hành trình học dữ liệu ngay hôm nay, hãy xem các tài nguyên dưới đây. 

• Khám phá những gì chúng tôi đã lên kế hoạch cho tháng nâng cao kiến thức dữ liệu
• Bắt đầu với Lộ trình Kỹ năng Understanding Data Topics
• Đăng ký theo dõi Podcast DataFramed
• Xem các sự kiện sắp tới của chúng tôiĐọc bài tiếp theo trong loạt Giải Mã Dữ Liệu về Trực Quan Hóa Dữ Liệu nắm bắt xu hướng