Instacart Otimiza Testes A/B com Redução de Variância Sub-Granular
Aprofundamento CEVIU
Linha do tempo
Instacart otimiza testes A/B com redução de variância sub-granular, melhorando a precisão de experimentos em 'region-day'.
Perguntas frequentes
O que é a redução de variância sub-granular em testes A/B?
É uma técnica que otimiza testes A/B ao aplicar métodos de redução de variância, como CUPED e estratificação, em um nível mais detalhado (sub-granular) do que a unidade de randomização principal. No caso da Instacart, significa ir além da análise de 'region-day' para considerar detalhes de pedidos individuais, mesmo quando a randomização é feita em nível de região.
Por que a Instacart precisou inovar na redução de variância?
Em marketplaces, a randomização precisa ser em grupos maiores (como 'region-day') para evitar interferência entre usuários, o que diminui o poder estatístico. A inovação da Instacart permite recuperar esse poder perdido. O objetivo é identificar efeitos menores de tratamento com maior precisão e, assim, acelerar a experimentação.
Como a Instacart aplica o CUPED de forma inovadora?
A abordagem da Instacart, chamada 'order-level CUPED', primeiro treina um modelo de machine learning para prever o resultado de cada pedido individualmente. Em seguida, essas previsões detalhadas são agregadas ao nível de 'region-day'. Essa previsão agregada é então usada como covariável para o ajuste CUPED, que remove o ruído da métrica.
Quais são os benefícios dessa abordagem para o negócio?
Essa técnica reduz a variância das métricas em até 40% em alguns casos, o que permite encurtar a duração dos experimentos em cerca de um terço. Isso significa que a Instacart pode rodar mais experimentos por trimestre, testar mais ideias e lançar melhorias mais rapidamente, impulsionando a velocidade de inovação e a tomada de decisões baseadas em dados.
Fontes
- tech.instacart.comfonte original
- Categoria
- CEVIU Dados
- Publicado
- 12 de julho de 2026
- Editoria
- CEVIU Dados