Datos sin misterio: ¿qué es el test A/B?

¿Cómo funciona el test A/B?

Un test A/B puede dar resultados excelentes, pero solo si sigues los pasos con rigor. Estos son algunos pasos clave para diseñar un test A/B con éxito:

1. Formula una hipótesis

Una hipótesis define cómo el cambio de una variable de prueba impacta en una métrica de rendimiento dentro de una población. Un ejemplo de hipótesis sería:

«Cambiar el color del botón de añadir al carrito de azul a rojo (la variable de prueba) aumentará la tasa de conversión (la métrica de rendimiento) en todos los usuarios de escritorio (la población)». 

Un error común es incluir varias variables de prueba en un mismo experimento, lo que dificulta aislar el impacto de cada cambio en la métrica. 

2. Crea versiones de control y tratamiento de tu variable

El término «A/B» se refiere a las dos versiones de aquello que estás probando. 

De forma coloquial, el control es la «versión A» del producto o la versión actual de la variable que pruebas. La «versión B» es el tratamiento o la versión nueva de esa variable.

Siguiendo con el ejemplo del botón de añadir al carrito, el control (versión A) es el botón azul actual, mientras que el tratamiento (versión B) es el botón rojo nuevo.

3. Determina el tamaño de muestra para lograr significación estadística

Según el caso de uso y el número de usuarios de un servicio, puede ser inviable ejecutar un test A/B sobre toda la población. La alternativa es ejecutarlo en un subconjunto o muestra de usuarios. Para ello, se suele calcular un tamaño de muestra estadísticamente significativo que sea lo bastante grande como para extraer conclusiones sobre la población. 

Por ejemplo, en nuestro caso del botón, el test A/B se ejecutaría sobre una fracción de los usuarios de escritorio en lugar de sobre todos.

4. Selecciona grupos aleatorios para control y tratamiento

A cada usuario del experimento se le muestra la versión A o la B. ¿Cómo decidimos si ve el control o el tratamiento? 

Para garantizar un test justo, normalmente se divide la muestra en tratamiento y control de forma aleatoria (es decir, cada usuario tiene la misma probabilidad de estar en tratamiento o en control) y equilibrada (los grupos tienen el mismo tamaño). 

5. Ejecuta el test y analiza los resultados 

Con todo listo, ya puedes poner en marcha el test A/B. Cuando alcanzas un tamaño de muestra suficiente, puedes analizar los resultados. 

Para analizarlos, calculamos la diferencia en la métrica de prueba —la tasa de conversión— entre los grupos de tratamiento y control. Si la diferencia es lo bastante grande, podremos concluir con confianza que una versión es mejor que la otra.

6. Itera, iterar es la clave

Si hay un ganador claro, esa versión puede pasar a producción. Además, conviene profundizar en los datos para entender mejor el comportamiento de los usuarios. Un test A/B es solo una parte del proceso de optimización. Los aprendizajes que deja pueden inspirar nuevas ideas e hipótesis que, a su vez, podrás poner a prueba.

Ejemplos de test A/B 

La mayoría de compañías tecnológicas están más que familiarizadas con los tests A/B. De hecho, probablemente hayas estado en un grupo de control o tratamiento de algún servicio que usas. Estos son algunos ejemplos destacados en sitios y servicios muy populares hoy:

1. Test A/B en Airbnb

Airbnb ofrece varios ejemplos excelentes de tests A/B. Siempre ha tenido una sólida cultura de experimentación. En esta entrada del blog de 2014, profundizan en cómo probaron cambiar el valor máximo del filtro de precio en la página de búsqueda de 300 $ a 1000 $.

Airbnb probando cambios en el filtro de precio máximo

En otro ejemplo, el equipo muestra un rediseño de la página de inicio y analiza su impacto en el uso de la plataforma. Aunque algo técnico, el artículo ilustra muy bien cómo los tests A/B han sido clave en el éxito de Airbnb como producto. 

Airbnb utiliza tests A/B para decidir una mejor interfaz de usuario

2. Test A/B en Netflix

Con una serie de tests A/B, Netflix seleccionó la mejor imagen promocional para distintos títulos y aumentó claramente las horas de reproducción. Un subproducto interesante de los tests A/B es que revelan información profunda sobre el comportamiento y la experiencia de usuario. Por ejemplo, con este test Netflix determinó que las imágenes con expresiones faciales que transmiten el tono del título funcionan excepcionalmente bien.

Muestra de imágenes para Unbreakable Kimmy Schmidt de Netflix

3. Test A/B en Gojek

Gojek, la superapp omnipresente en Indonesia, usa tests A/B para encontrar el número óptimo de productos que mostrar en su página de inicio. El equipo de producto usa luego este feedback para decidir qué variante del experimento se despliega a todos los usuarios. Este es solo uno de los muchos casos de uso de test A/B en Gojek. También puedes conocer más sobre su cultura de datos escuchando este episodio de DataFramed. 

Gojek usó una plataforma de experimentación interna para decidir el diseño de su página de inicio

Empieza hoy con los datos

Esperamos que te haya gustado esta breve introducción al test A/B. En la próxima entrega, nos adentraremos en el mundo de la visualización de datos y explicaremos cómo interpretar las visualizaciones más utilizadas hoy.

Si quieres empezar ya tu camino de aprendizaje en datos, echa un vistazo a estos recursos. 

• Descubre lo que tenemos preparado para el mes de la competencia en datos
• Empieza con nuestro itinerario de aprendizaje Understanding Data Topics
• Suscríbete al pódcast DataFramed
• Consulta nuestros próximos eventosLee la siguiente entrega de Datos sin misterio sobre visualizaciones que captan tendencias