Armadilhas no Teste A/B: O Que Funciona e o Que Não Funciona com Dados Reais

As falhas em testes A/B são muito mais frequentemente causadas por infraestrutura deficiente e práticas de experimentação ruins do que pelas ideias sendo testadas. Falhas comuns incluem o Sample Ratio Mismatch (SRM) devido a randomização inadequada, early peeking que inflaciona falsos positivos, poder estatístico insuficiente e a otimização de métricas incorretas sem os devidos guardrails, levando a resultados enganosos.