Relace Otimiza Aplicação de Edições de Código para 10.000 Tokens por Segundo

A Relace Apply 3 define um novo padrão de performance para a aplicação de edições de código, atingindo notáveis 10.000 tokens por segundo. Este avanço é crucial para o ciclo de desenvolvimento de software, especialmente em cenários com agentes de IA. A solução da Relace foca em um modelo compacto e especializado, que se distancia da abordagem tradicional de grandes LLMs regenerando o código inteiro. A chave é permitir que o LLM principal produza "lazy diffs" e usar um modelo menor para interpretar a intenção da mudança e aplicá-la, lidando com o que chamam de "diffs patológicos" que algoritmos fixos não conseguem resolver.

O processo técnico por trás dessa otimização é multifacetado. A Relace utiliza fine-tuning com LoRA, técnica que permite especializar o modelo para a tarefa de merge sem perder seu conhecimento geral de programação. A quantização FP8, combinada com os núcleos dedicados em GPUs Nvidia, otimiza o throughput. Além disso, a curadoria de dados é rigorosa: um dataset de alta qualidade de 145.000 pontos de dados, filtrado de 200.000 exemplos, garante a robustez do treinamento. Para isso, foi desenvolvido um "LLM-as-a-judge", ajustado por 500 revisões manuais, que avalia a correção das fusões e reduz a taxa de falsos positivos para 1%.

Nossa cobertura anterior no CEVIU já explorava a "Decodificação Especulativa" em agosto de 2026, destacando seu potencial de acelerar Large Language Models (LLMs) em até três vezes e otimizar o uso da GPU. A matéria "DFlash 2 revoluciona inferência de LLMs com decodificação especulativa aprimorada" também reforçava essa tendência. Agora, a Relace demonstra a aplicação prática e o aprimoramento dessa técnica, escalando o desempenho para 10.000 tokens por segundo em um caso de uso crítico: a aplicação de edições de código.

Este resultado representa um salto significativo em comparação com os picos de 280 tokens por segundo que observamos em otimizações mais gerais de APIs de LLMs, como na matéria "Baseten Acelera GLM-5.2 e Otimiza Latência para Aplicações de IA" de julho de 2026. A Relace prova que a decodificação especulativa, quando combinada com modelos especializados e datasets de alta qualidade, pode alcançar níveis de performance antes inatingíveis para tarefas específicas de desenvolvimento.

A performance de 10.000 tokens por segundo muda a forma como os desenvolvedores interagem com ferramentas de IA para código. Isso elimina o gargalo da aplicação de edições, que antes era demorada e custosa. Para agentes de IA, significa a capacidade de realizar modificações complexas no código-fonte em tempo quase real, sem a intervenção humana constante para corrigir erros de merge.

Este avanço também valida a estratégia de modelos especializados e otimização de infraestrutura. A Relace mostra que não é preciso um LLM gigantesco para cada etapa do pipeline. Um modelo menor e focado pode superar LLMs maiores em tarefas específicas, reduzindo custos e aumentando a eficiência. Isso tem implicações diretas na experiência do desenvolvedor, acelerando o ciclo de feedback e permitindo iterações mais rápidas no desenvolvimento de software.