Estudo de Estimativa de Experimentos: Quão Bem 1.391 Palpites Podem Prever os Efeitos de Testes A/B?

O impacto de testes A/B é frequentemente superestimado, o que torna a priorização baseada em intuição pouco confiável. Em um estudo com 1.391 previsões, o erro médio foi de 2,7 pontos percentuais, e 56% dos palpites estavam acima do resultado real. A experiência teve um efeito limitado, com equipes de mais de 10 anos de prática apresentando desempenho similar a profissionais mais novos. No entanto, a familiaridade com testes semelhantes melhorou a precisão, elevando a correção direcional para 65,1% e reduzindo o erro médio de 3,2 para 2,5 pontos. Pequenos grupos se saíram melhor que indivíduos; grupos de cinco pessoas reduziram o erro para 2,3 pontos, embora um viés positivo consistente tenha persistido.