Ramp lança benchmark próprio baseado em problemas reais de engenharia

A Ramp não só criou um benchmark privado, ela construiu um espelho fiel do seu próprio ciclo de engenharia. O Ramp SWE-Bench, lançado em 11 de junho de 2026, é feito de 80 tarefas reais implementadas por 'Inspect', seu agente interno de codificação, depois de revisão humana. Nada de problemas sintéticos ou extraídos de repositórios públicos: cada desafio vem de produção, autorização de cartão, detecção de fraude, contabilidade, tesouraria. A avaliação é estritamente operacional: um modelo só passa se o patch gerado corrigir exatamente os testes falhos sem quebrar nenhum outro, e tudo deve rodar em até 45 minutos.

O processo de curadoria é híbrido: LLMs ajudam a identificar ambiguidades e extrair cenários, mas engenheiros validam cada tarefa manualmente. Isso segue a filosofia do BenchGuard, benchmarks não são só prompts e respostas, mas artefatos acoplados (prompt + patch de referência + testes + ambiente) que exigem verificação conjunta. É uma resposta prática ao problema crônico de benchmarks públicos contaminados por dados de treinamento.

Esse benchmark não é só para a Ramp: ele expõe uma nova estratégia de avaliação que prioriza fidelidade funcional sobre pontuação abstrata. Enquanto benchmarks como HumanEval ou SWE-bench usam código aberto, o SWE-Bench da Ramp mede o que realmente importa num software financeiro, correção sob restrições reais de tempo, integridade de testes e compatibilidade com sistemas legados. E isso está diretamente ligado à maturidade da IA na empresa: 50% do código já é escrito por IA, e 'Glass', seu pacote de produtividade, tem 99% de adoção interna. Se der certo, outras fintechs vão replicar, não copiando o benchmark, mas a lógica de construir avaliação a partir do próprio fluxo de engenharia.