Dados sem mistério: o que é o teste A/B?

Como funciona o teste A/B?

Testes A/B fazem maravilhas — mas só quando as etapas são seguidas à risca. Veja os passos essenciais para desenhar um bom teste A/B:

1. Formule uma hipótese

Uma hipótese descreve como a mudança de uma variável de teste impacta um indicador de desempenho em uma população. Um exemplo de hipótese seria:

“Mudar a cor do botão de adicionar ao carrinho de azul para vermelho (variável de teste) vai aumentar a taxa de conversão (métrica de desempenho) entre todos os usuários de desktop (população)”. 

Um erro comum é incluir várias variáveis de teste em um único experimento, o que dificulta entender o impacto de cada mudança na métrica. 

2. Crie as versões de controle e de tratamento da sua variável

O termo “A/B” no teste A/B se refere às duas versões daquilo que você está testando. 

De forma coloquial, o controle é a “Versão A” do produto — a versão atual da variável de teste. Já a “Versão B” é o tratamento — a nova versão da variável que você quer testar.

No exemplo do botão de adicionar ao carrinho, o controle (Versão A) é o botão azul atual, enquanto o tratamento (Versão B) é o novo botão vermelho.

3. Defina o tamanho da amostra para significância estatística

Dependendo do caso de uso e do número de usuários do serviço, pode ser inviável rodar um teste A/B em toda a população. A melhor alternativa é executar o teste A/B em um subconjunto — uma amostra de usuários. Para isso, costuma-se determinar um tamanho de amostra estatisticamente significativo, grande o suficiente para permitir conclusões sobre a população. 

Voltando ao exemplo do botão de adicionar ao carrinho, o teste A/B seria aplicado a uma fração dos usuários de desktop, e não a todos.

4. Selecione grupos randomizados para controle e tratamento

Cada usuário do experimento vê a versão A ou a versão B. Como decidimos quem recebe controle ou tratamento? 

Para garantir um teste justo, os profissionais costumam dividir as amostras em tratamento e controle de forma aleatória (ou seja, cada usuário tem a mesma probabilidade de cair em tratamento ou controle) e equilibrada (grupos de mesmo tamanho). 

5. Rode o teste e analise os resultados

Com tudo preparado, o teste A/B está pronto para começar. Assim que a amostra atingir o tamanho necessário, os resultados podem ser analisados. 

Para analisar, calculamos a diferença na métrica de teste — a taxa de conversão — entre os grupos de tratamento e controle. Se a diferença for grande o suficiente, podemos concluir com confiança que uma versão é de fato melhor que a outra.

6. Itere, itere, itere

Se houver um vencedor claro, a versão superior pode ir para produção! Também vale fazer um mergulho nos dados para entender melhor o comportamento dos usuários. Um teste A/B é apenas uma parte de um processo contínuo de otimização. Os aprendizados obtidos podem inspirar novas ideias e hipóteses que, por sua vez, podem ser testadas.

Exemplos de teste A/B 

A maioria das empresas de tecnologia está mais que acostumada a testes A/B. Aliás, é bem provável que você já tenha feito parte de um grupo de controle ou tratamento em algum serviço que usa. Aqui vão alguns exemplos do mundo real em sites e serviços populares:

1. Teste A/B no Airbnb

Excelentes exemplos de testes A/B vêm do Airbnb, que sempre teve uma cultura forte de experimentação. Neste post do blog de 2014, eles detalham como testaram mudar o valor máximo do filtro de preço na página de busca de US$ 300 para US$ 1.000.

Airbnb testando alterações no filtro de preço máximo

Em outro exemplo, a equipe mostra um redesign da home page e discute como isso impactou o uso da plataforma. Embora um pouco técnico, o artigo exemplifica como testes A/B foram essenciais para o sucesso do Airbnb como produto. 

Airbnb usa teste A/B para decidir uma interface melhor 

2. Teste A/B na Netflix

Por meio de uma série de testes A/B, a Netflix selecionou as melhores artes para diferentes títulos e aumentou claramente o número de horas de streaming. Um ótimo efeito colateral de testes A/B é revelar insights profundos sobre comportamento e experiência do usuário. Ao rodar esse teste, por exemplo, a Netflix descobriu que artes com expressões faciais marcantes que transmitem o tom do título performam excepcionalmente bem.

Amostra de artes para Unbreakable Kimmy Schmidt, da Netflix 

3. Teste A/B na Gojek

A Gojek, o app tudo-em-um onipresente na Indonésia, usa testes A/B para encontrar o número ideal de produtos a exibir na sua home page. A equipe de produto usa o feedback para decidir qual variante do experimento será lançada para todos os usuários. Esse é só um dos vários casos de uso de teste A/B na Gojek. Você também pode saber mais sobre a cultura de dados da empresa ouvindo este episódio do DataFramed. 

Gojek usou uma plataforma interna de experimentação para definir o design da home page 

Comece com dados hoje

Esperamos que você tenha curtido esta introdução ao teste A/B. Na próxima parte da série, vamos entrar no mundo da visualização de dados e mostrar como interpretar as visualizações mais usadas hoje.

Se você quer começar sua jornada de aprendizagem em dados agora, confira estes recursos: 

• Veja o que preparamos para o Data Literacy Month
• Comece pela nossa trilha de aprendizado Understanding Data Topics
• Assine o podcast DataFramed
• Confira nossos próximos eventosLeia a próxima parte da série Dados Sem Mistério: visualizações que capturam tendências