Ramp lança benchmark privado de SWE para agentes de codificação financeira

A Ramp não está só testando modelos de IA: está medindo o ritmo real da automação em finanças digitais. O SWE-Bench é um benchmark privado, mas seu verdadeiro valor está na forma como ele traduz operações bancárias em desafios de engenharia, autorização de cartão com regras de compliance em tempo real, reconciliação contábil com múltiplas fontes de pagamento, detecção de fraude baseada em padrões de tesouraria, ou até lógica de compra com feature flags dinâmicas. São tarefas que exigem mais do que sintaxe correta: exigem conhecimento implícito de domínio financeiro, respeito a convenções de código em sistemas críticos e capacidade de navegar em bases legadas sem quebrar SLAs.

O fato de 87,5% das tarefas serem resolvidas pelo Claude Fable 5, o melhor entre 14 modelos avaliados, mostra que a barra está alta, mas ultrapassável. Mas atenção: o número que realmente importa para fintechs não é a taxa de sucesso, e sim o custo por execução (US$1,09 no caso do Claude Opus 4.8) e o tempo médio até um patch pronto para merge. A Ramp já opera com agentes responsáveis por mais de dois terços dos PRs mesclados, isso só é viável porque o Inspect, seu agente interno, roda em VMs sandboxed na Modal, com acesso direto a bancos de dados, pipelines de CI/CD e sistemas de monitoramento. É IA aplicada onde o dinheiro corre, não em laboratório.

Esse benchmark é um termômetro silencioso da maturidade da IA em infraestrutura financeira. Enquanto benchmarks públicos como o SWE-Bench Pro e o DeepSWE tentam se proteger da contaminação com tarefas artificiais, a Ramp usa código real que já passou por revisão humana, foi testado em produção e gerou receita. Isso significa que falhas detectadas aqui não são abstrações acadêmicas, são bugs que poderiam ter causado estornos errados, fraudes não detectadas ou erros contábeis em clientes que movimentam US$200 bilhões por ano. A rodada de US$750 milhões e a avaliação de US$44 bilhões não são só sobre crescimento: são apostas de fundos soberanos e pension funds na capacidade da Ramp de escalar engenharia com IA sem comprometer confiabilidade. E isso começa com métricas que não mentem: 45 minutos, um único intent, zero retrabalho.