Ankur Goyal: como agentes de codificação estão redefinindo benchmarking e avaliações de IA

Ankur Goyal não está só usando agentes de codificação, ele está redefinindo o que é rigor técnico em engenharia de software. Enquanto a maioria dos times ainda vê IA como ferramenta de escrita, ele a trata como um coengenheiro sistêmico: capaz de rodar milhares de variações de formato de coluna (Parquet, Arrow, Delta), motores (DataFusion, DuckDB, Velox) e índices (Bloom, Roaring, LSM) em máquinas EC2 dedicadas, por dias seguidos, com dados reais do Brainstore, seu banco de dados interno otimizado para traces de IA. Isso não é 'benchmarking assistido'. É uma nova camada de CI/CD: infraestrutura testável, mensurável e iterável como código-fonte.

O segundo pilar, os evals como PRDs modernos, também é mais concreto do que parece. Não se trata de adicionar mais métricas ao dashboard. É substituir especificações abertas ('o sistema deve ser útil') por funções de pontuação geradas por IA (ex: Claude escrevendo um prompt avaliador que mede tom, precisão factual e capacidade de citar fontes da documentação), executadas em lote sobre centenas de perguntas reais de usuários. E isso já virou exigência operacional: desde abril de 2026, um PRD para IA na Braintrust exige seis seções obrigatórias além do escopo tradicional, incluindo framework de eval, guardrails explícitos e plano de monitoramento contínuo.

Em abril de 2026, Goyal defendia evals como 'especificações convertidas em código executável'. Em junho de 2026, ele entrega o que faltava: a infraestrutura para rodá-las em escala industrial. O Codex da Braintrust, integrado ao Brainstore, agora executa workflows completos de benchmarking de infraestrutura, não só testando modelos de linguagem, mas também formatos de armazenamento, motores de execução e até filtros bloom em produção simulada. Isso transforma o que era um conceito teórico (evals como PRDs) em um pipeline automatizado que alimenta decisões arquitetônicas reais, como trocar um index inteiro após uma semana de experimentos contínuos.

Isso muda a economia do tempo de engenharia. Um time que levaria semanas para testar três combinações de storage + engine agora avalia 37 opções em paralelo, com dados reais, sem intervenção manual. Mais importante: torna a qualidade técnica não negociável. Se sua avaliação de IA depende de 'vibe check' de um PM, você já está atrasado. Se ela depende de um dataset de 124 perguntas reais, uma função de pontuação gerada por Claude e um loop de feedback com o designer David codificado em critérios objetivos, você está alinhado com o novo padrão de entrega de software nativo em IA.