Decagon constrói inference stack que se otimiza sozinho com agentes AutoResearch

A Decagon descreve o AutoResearch como um ciclo de diagnóstico, experimento e medição aplicado à stack de serving. A empresa opera mais de uma dúzia de endpoints de modelos em produção, cada um com arquitetura, carga, requisito de latência e configuração de hardware próprios. Por isso a otimização manual escala mal. O critério de sucesso é objetivo: mais requisições bem-sucedidas por segundo por GPU, dentro do SLA de latência.

O ponto técnico central é o ambiente de replay. Os requests são reconstruídos a partir de logs de produção com PII removida, preservando system prompts, definições de ferramentas, schemas de saída e parâmetros de geração. O runner em Rust opera em open-loop, então o tráfego continua chegando mesmo quando o servidor desacelera, o que expõe filas. A Decagon valida o replay comparando distribuição de tamanho de tokens, fração de tokens cacheados e temporização, e mede a variação natural do baseline antes de aceitar qualquer ganho. Um orquestrador cria subagentes que investigam hipóteses em paralelo (scheduling, memória, speculative decoding), cada um devolvendo explicação, intervenção, previsão e falsificação. Ganhos sem perda (scheduling, memória) são separados de ganhos com perda (quantization de pesos ou de KV cache), e uma pessoa revisa o trade-off de qualidade antes de qualquer merge. No endpoint baseado em Gemma 4 26B-A4B, um drafter DFlash2 existente entregou cerca de 17% mais acceptance length que o MTP head de produção, e o treino adicional somou mais 14%. O resumo da empresa fala em throughput de até 2,5x dentro dos requisitos de latência.

A cobertura anterior do CEVIU trata de agentes em outras empresas, não de evolução do caso da Decagon. Em 17 de abril de 2026, o CEVIU noticiou "Eficiência de Capacidade na Meta: Como Agentes de IA Unificados Otimizam Performance em Hiperescala", sobre agentes que detectam e corrigem regressões de performance com profiling compartilhado. Em 30 de março de 2026, "IA ajudando a construir uma IA melhor: Como agentes aceleram a experimentação de modelos" mostrou o LinkedIn usando agentes na otimização de LLMs pós-treino. São abordagens parecidas, mas de empresas diferentes. A Decagon se distingue por atacar o serving de endpoints com replay de tráfego real.

Para quem opera inferência em vários endpoints, a leitura é que o gargalo deixa de ser a ideia de otimização e passa a ser a fidelidade da avaliação. Sem replay representativo e noise floor medido, o agente otimiza ruído. A exigência de aprovação humana nas mudanças em produção indica que a automação está na busca, não na decisão final.