Pesquisa do Yahoo: 25 experimentos de anúncios não bastaram para separar campanha lucrativa de não lucrativa

O estudo vem de dois economistas do Yahoo, Randall Lewis e Justin Rao, que rodaram 25 experimentos reais com grandes varejistas e corretoras dos EUA. A maioria alcançou milhões de pessoas, e as campanhas somaram US$ 2,8 milhões em gasto. O resultado saiu no Quarterly Journal of Economics, em 2015, sob o título "The Unfavorable Economics of Measuring the Returns to Advertising". O rascunho anterior se chamava "On the Near Impossibility of Measuring the Returns to Advertising".

O número central: o intervalo de confiança mediano do ROI passou de 100 pontos percentuais. Na prática, o experimento típico dizia que o retorno ficava entre "perdeu tudo" e "dobrou o dinheiro". A razão é aritmética. Anúncio move vendas pouco, e as vendas oscilam muito por conta própria. Os autores estimam que a variação do gasto individual é cerca de dez vezes o custo da publicidade para aquele indivíduo. Para muitas campanhas, uma resposta informativa exigiria mais de 10 milhões de pessoas-semana de experimento.

A cobertura anterior do CEVIU já vinha tocando no problema de testes com pouca potência. Em 19 de fevereiro de 2026, o CEVIU noticiou "Padrões Confiáveis de Teste A/B e a Maldição do Vencedor: Lições de Sete Replicações em Larga Escala", que apontava que a maioria das grandes melhorias reportadas vem de estudos com baixa potência estatística. A pesquisa do Yahoo dá a base de ROI e de mídia paga para a mesma ideia: teste pequeno gera número bonito, não prova.

Para quem opera mídia paga, a leitura é prática: antes de lançar um lift test, escreva o efeito mínimo detectável e reporte o intervalo junto com o lift. Se o efeito mínimo for maior do que o retorno plausível do canal, o teste não responde nada. Testes de plataforma baratos servem como sinal direcional, não como justificativa para mover orçamento grande. Vale concentrar a capacidade de teste nos dois ou três canais que carregam a maior parte da verba.