Memória aprendida faz GPT-4.1 liderar ranking de atendimento ao cliente no τ²-bench sem pesos novos
Aprofundamento CEVIU
Aprofundamento
O ALTK-Evolve, da IBM Research, entrega um resultado que incomoda a lógica do "modelo maior resolve tudo". Um agente ReAct padrão do τ²-bench, rodando GPT-4.1 (antigo, sem raciocínio), chega a 67,5% de Pass^4 no retail. Isso significa resolver a tarefa nas quatro tentativas independentes em 67,5% dos casos. Esse número fica acima de todas as entradas de retail do snapshot do leaderboard de 12 de outubro de 2026, inclusive o RAFT-30B-A3B (61,4%), modelo ajustado com dados sintéticos do próprio benchmark.
O mecanismo é simples. O mesmo GPT-4.1 analisa as tentativas do agente em tarefas de treino e destila sucessos e falhas em regras curtas, como autenticar o cliente, confirmar uma transação ou tratar uma devolução. Essas regras entram como lista em markdown no system prompt, depois da política do domínio. Nenhum peso muda e ninguém anota nada. O custo aparece na entrada: no retail, o prompt com 292 diretrizes leva o custo por conversa de cerca de US$ 0,084 para US$ 0,139. As conversas, porém, ficam um pouco mais curtas (10,59 para 10,16 turnos no retail), e o bloco fixo de diretrizes se presta a prompt caching.
O que mudou
A matéria do CEVIU de 9 de abril de 2026, sobre aprendizado on-the-job para agentes de IA, apresentava o ALTK-Evolve como forma de transformar trajetórias brutas em diretrizes reutilizáveis, sem inflar o contexto. Em 16 de setembro de 2026, a IBM Research reforçou a proposta com as 'Consistency Guidelines' contra a inconsistência de desempenho. Agora a ideia sai da promessa e do código e ganha número em benchmark de atendimento, com liderança em retail. O artigo-fonte lembra que o trabalho anterior da IBM tinha sido demonstrado em agentes de código.
Por que isso importa
Fine-tuning é caro e não transfere bem para outro domínio. Memória aprendida em prompt é barata de testar e dá para ajustar por domínio. No airline, o núcleo compacto (sup3) foi mais confiável que o conjunto completo. Com GPT-5.5, o mesmo método levou o airline ao primeiro lugar, com 82,0%, contra 66% a 72% dos modelos de fronteira.
Linha do tempo
CEVIU cobre o ALTK-Evolve e o aprendizado on-the-job de agentes de IA.
IBM Research lança o ALTK-Evolve com Consistency Guidelines contra inconsistência de desempenho.
ALTK-Evolve com GPT-4.1 lidera o retail do τ²-bench com 67,5% de Pass^4, sem novos pesos.
Perguntas frequentes
O que é Pass^4 e por que ele importa em atendimento?
Pass^4 é o percentual de tarefas resolvidas nas quatro tentativas independentes. É a métrica do leaderboard do τ²-bench. Importa porque um agente que acerta um reembolso três vezes em quatro ainda falha com um quarto dos clientes reais.
O ALTK-Evolve treina ou altera o modelo?
Não. O próprio modelo extrai regras curtas das tentativas em tarefas de treino, e elas são anexadas ao system prompt. Não há atualização de pesos nem anotação humana. Os testes usam tarefas separadas, sem vazamento do conjunto de teste.
Quanto custa a mais usar as diretrizes?
O custo vem dos tokens de entrada. No retail, a conversa passou de cerca de US$ 0,084 para US$ 0,139 com 292 diretrizes. Os turnos não aumentam, e o bloco idêntico em toda chamada pode ser parcialmente compensado com prompt caching.
Funciona só com modelos antigos como o GPT-4.1?
Não. Com GPT-5.5 no airline, a acurácia foi de 72,5% para 82,5% e o Pass^4 de 55,0% para 70,0%. No leaderboard completo, esse agente chegou a 82,0%, acima das entradas de fronteira.
Fontes
- huggingface.cofonte original
- Categoria
- CEVIU IA
- Publicado
- 21 de outubro de 2026
- Editoria
- CEVIU IA