Curso
Introdução à estatística
4 h
160.3K
Bem-vindo à parte sete da nossa série mensal Dados Sem Mistério. Como parte do Data Literacy Month, esta série esclarece conceitos-chave do mundo dos dados, responde às perguntas que você talvez tenha receio de fazer e ainda se diverte pelo caminho. Se quiser começar do início, confira a primeira matéria da série: o que é um dataset?
Nesta edição, vamos explorar um dos principais casos de uso em dados: o teste A/B. Mesmo que você nunca tenha ouvido falar nele, se já usou algum serviço ou site digital, há uma grande chance de ter feito parte de um teste A/B sem saber. Ao longo do post, vamos explicar o que são testes A/B, como eles são configurados em geral e trazer exemplos de testes A/B de serviços populares como Airbnb, Netflix e Gojek.
O que é teste A/B?
O teste A/B compara o desempenho de duas versões da mesma coisa, geralmente uma página da web ou um produto digital. Em termos mais amplos, o teste A/B é um framework que permite criar experimentos rapidamente, analisar seus resultados por meio de métodos estatísticos e tomar decisões com base nesses resultados.
O teste A/B ajuda times a validar questões-chave, como: “Mudar a cor de um botão aumenta o número de cliques?” ou “Usar um pôster de filme em vez de outro aumenta as visualizações de um título?”
Testes A/B estabelecem causalidade. Se uma home page com um botão vermelho gera mais cliques do que um botão azul — mantendo todo o resto constante — podemos concluir que o botão vermelho causa o aumento de cliques. Nem precisa dizer: testes A/B são ferramentas valiosas para times orientados por dados que querem otimizar seus produtos.
Obtenha uma certificação em alfabetização de dados e consiga o cargo dos seus sonhos
Nossos programas de certificação ajudam você a se destacar e a provar que suas habilidades estão prontas para o trabalho para possíveis empregadores.
Como funciona o teste A/B?
Testes A/B fazem maravilhas — mas só quando as etapas são seguidas à risca. Veja os passos essenciais para desenhar um bom teste A/B:
1. Formule uma hipótese
Uma hipótese descreve como a mudança de uma variável de teste impacta um indicador de desempenho em uma população. Um exemplo de hipótese seria:
“Mudar a cor do botão de adicionar ao carrinho de azul para vermelho (variável de teste) vai aumentar a taxa de conversão (métrica de desempenho) entre todos os usuários de desktop (população)”.
Um erro comum é incluir várias variáveis de teste em um único experimento, o que dificulta entender o impacto de cada mudança na métrica.
2. Crie as versões de controle e de tratamento da sua variável
O termo “A/B” no teste A/B se refere às duas versões daquilo que você está testando.
De forma coloquial, o controle é a “Versão A” do produto — a versão atual da variável de teste. Já a “Versão B” é o tratamento — a nova versão da variável que você quer testar.
No exemplo do botão de adicionar ao carrinho, o controle (Versão A) é o botão azul atual, enquanto o tratamento (Versão B) é o novo botão vermelho.
3. Defina o tamanho da amostra para significância estatística
Dependendo do caso de uso e do número de usuários do serviço, pode ser inviável rodar um teste A/B em toda a população. A melhor alternativa é executar o teste A/B em um subconjunto — uma amostra de usuários. Para isso, costuma-se determinar um tamanho de amostra estatisticamente significativo, grande o suficiente para permitir conclusões sobre a população.
Voltando ao exemplo do botão de adicionar ao carrinho, o teste A/B seria aplicado a uma fração dos usuários de desktop, e não a todos.
4. Selecione grupos randomizados para controle e tratamento
Cada usuário do experimento vê a versão A ou a versão B. Como decidimos quem recebe controle ou tratamento?
Para garantir um teste justo, os profissionais costumam dividir as amostras em tratamento e controle de forma aleatória (ou seja, cada usuário tem a mesma probabilidade de cair em tratamento ou controle) e equilibrada (grupos de mesmo tamanho).
5. Rode o teste e analise os resultados
Com tudo preparado, o teste A/B está pronto para começar. Assim que a amostra atingir o tamanho necessário, os resultados podem ser analisados.
Para analisar, calculamos a diferença na métrica de teste — a taxa de conversão — entre os grupos de tratamento e controle. Se a diferença for grande o suficiente, podemos concluir com confiança que uma versão é de fato melhor que a outra.
6. Itere, itere, itere
Se houver um vencedor claro, a versão superior pode ir para produção! Também vale fazer um mergulho nos dados para entender melhor o comportamento dos usuários. Um teste A/B é apenas uma parte de um processo contínuo de otimização. Os aprendizados obtidos podem inspirar novas ideias e hipóteses que, por sua vez, podem ser testadas.
Exemplos de teste A/B
A maioria das empresas de tecnologia está mais que acostumada a testes A/B. Aliás, é bem provável que você já tenha feito parte de um grupo de controle ou tratamento em algum serviço que usa. Aqui vão alguns exemplos do mundo real em sites e serviços populares:
1. Teste A/B no Airbnb
Excelentes exemplos de testes A/B vêm do Airbnb, que sempre teve uma cultura forte de experimentação. Neste post do blog de 2014, eles detalham como testaram mudar o valor máximo do filtro de preço na página de busca de US$ 300 para US$ 1.000.
Airbnb testando alterações no filtro de preço máximo
Em outro exemplo, a equipe mostra um redesign da home page e discute como isso impactou o uso da plataforma. Embora um pouco técnico, o artigo exemplifica como testes A/B foram essenciais para o sucesso do Airbnb como produto.
Airbnb usa teste A/B para decidir uma interface melhor
2. Teste A/B na Netflix
Por meio de uma série de testes A/B, a Netflix selecionou as melhores artes para diferentes títulos e aumentou claramente o número de horas de streaming. Um ótimo efeito colateral de testes A/B é revelar insights profundos sobre comportamento e experiência do usuário. Ao rodar esse teste, por exemplo, a Netflix descobriu que artes com expressões faciais marcantes que transmitem o tom do título performam excepcionalmente bem.
Amostra de artes para Unbreakable Kimmy Schmidt, da Netflix
3. Teste A/B na Gojek
A Gojek, o app tudo-em-um onipresente na Indonésia, usa testes A/B para encontrar o número ideal de produtos a exibir na sua home page. A equipe de produto usa o feedback para decidir qual variante do experimento será lançada para todos os usuários. Esse é só um dos vários casos de uso de teste A/B na Gojek. Você também pode saber mais sobre a cultura de dados da empresa ouvindo este episódio do DataFramed.
Gojek usou uma plataforma interna de experimentação para definir o design da home page
Comece com dados hoje
Esperamos que você tenha curtido esta introdução ao teste A/B. Na próxima parte da série, vamos entrar no mundo da visualização de dados e mostrar como interpretar as visualizações mais usadas hoje.
Se você quer começar sua jornada de aprendizagem em dados agora, confira estes recursos:
Tópicos
