Padrões Confiáveis de Teste A/B e a Maldição do Vencedor: Lições de Sete Replicações em Larga Escala

Replicações em larga escala revelam que padrões populares de testes A/B frequentemente geram ganhos muito menores do que relatórios anteriores sugeriam. A maioria das grandes melhorias reportadas provém de estudos com baixa potência estatística. Mesmo experimentos muito grandes geralmente carecem de potência estatística suficiente para métricas essenciais como receita por usuário e taxa de compra, levando equipes a depender de métricas substitutas como taxa de cliques e taxa de adição ao carrinho. Resultados práticos de empresas como Bing, Amazon e Talabat indicam que os ganhos confiáveis típicos raramente superam 1%, diferentemente dos incrementos de dois dígitos frequentemente citados em estudos de caso. ️ As evidências reforçam que testes com baixa potência, abaixo de 50%, geram resultados vencedores exagerados e muitos falsos positivos, explicando por que tantas vitórias de padrões publicadas não se replicam em escala.