Voltar

Salesforce Revela Desafios na Coevolução de Agentes de IA e Suas Ferramentas

Aprofundamento CEVIU

Aprofundamento

A pesquisa da Salesforce escancara um problema crítico na construção de agentes de IA: a coevolução entre o modelo e seu “harness”. O harness, para quem não está familiarizado, é a estrutura de suporte que envolve o modelo. Isso inclui desde o prompt do sistema, o conjunto de ferramentas à disposição, até os ganchos de execução e o gerenciamento de contexto. Ele dita como o modelo interage com o ambiente.

O estudo mostrou que, ao otimizar esse harness para um modelo menor e depois tentar treiná-lo com as trajetórias de um especialista mais potente, o desempenho caía significativamente. Essa regressão de performance, de 4 a 30 pontos percentuais, acontecia porque o modelo menor, mesmo com o conhecimento do especialista, não tinha a competência para executar as estratégias complexas. Ele adotava a lógica de planejamento do expert, mas perdia a sintonia com o harness que havia sido otimizado para seu estilo de planejamento original. Isso ecoa o que o CEVIU News já apontava em julho de 2026, com matérias como "Paradoxo da IA: Modelos Avançados, Ferramentas Menos Confiáveis" e "Modelos de IA Mais Potentes, Ferramentas Menos Confiáveis: Um Dilema no DevOps", onde modelos avançados mostravam dificuldade em aderir a esquemas de ferramentas.

O que mudou

Esta nova pesquisa da Salesforce traz um salto qualitativo na compreensão de um problema que já discutíamos. Antes, as matérias do CEVIU News, como as de julho de 2026 sobre "Modelos de IA Mais Potentes, Ferramentas Menos Confiáveis", apontavam o *sintoma*: modelos de IA, mesmo os mais avançados, tinham dificuldade em usar ferramentas de forma confiável ou aderir a schemas. Agora, a Salesforce identifica e explica o *mecanismo* por trás de uma das causas dessa dificuldade, especificamente na coevolução de agentes. Eles detalham como a imitação de trajetórias de especialistas em um harness já otimizado pode, paradoxalmente, prejudicar o desempenho, desorganizando o ajuste entre o modelo e suas ferramentas. Mais do que isso, eles oferecem uma "receita compatível" para resolver a questão, propondo uma pipeline de correção baseada em um meta-agente de IA. Isso representa um avanço da identificação do problema para o entendimento de sua causa e uma proposta de solução prática.

Por que isso importa

Entender a complexidade da coevolução entre agentes de IA e suas ferramentas é fundamental. Permite que desenvolvedores evitem armadilhas no treinamento, garantindo que os avanços em um componente não anulem o progresso em outro. Para empresas, isso se traduz em agentes autônomos mais confiáveis e eficientes, que podem realizar tarefas específicas com menor custo operacional, aproveitando o potencial de modelos menores. A descoberta da Salesforce abre caminho para métodos de treinamento mais inteligentes e práticos, essenciais para a implantação escalável de IA em ambientes corporativos.

Linha do tempo

  1. CEVIU News publica 'Dizer a um modelo de IA que ele é um expert o torna pior'.

  2. CEVIU News publica 'Paradoxo da IA: Modelos Avançados, Ferramentas Menos Confiáveis'.

  3. CEVIU News publica 'Modelos de IA Mais Potentes, Ferramentas Menos Confiáveis: Um Dilema no DevOps'.

  4. CEVIU News publica 'Modelos da Anthropic: o avanço em IA e o desafio da integridade das ferramentas'.

  5. CEVIU News publica 'Integração Vertical em IA Redefine o Jogo entre Modelos e Agentes'.

  6. CEVIU News publica 'Alerta DevOps: Agentes de IA e os riscos de falhas em incidentes'.

  7. Salesforce revela desafios na coevolução de agentes de IA e suas ferramentas.

Perguntas frequentes

O que é um 'harness' no contexto de agentes de IA?

O 'harness' é a infraestrutura de suporte que envolve um modelo de IA. Ele inclui o prompt do sistema, o conjunto de ferramentas que o modelo pode usar, os ganchos de execução para interagir com sistemas externos e o gerenciamento de contexto. Essencialmente, é a moldura que permite ao modelo funcionar como um agente e interagir com o mundo.

Por que treinar modelos menores com trajetórias de especialistas pode prejudicar o desempenho?

Quando o 'harness' já está otimizado para um modelo menor, treinar esse modelo com trajetórias de um especialista pode desajustar a sintonia. O modelo menor adota as estratégias de planejamento do especialista, mas não tem a competência para executá-las. Isso rompe o encaixe com o harness, que foi criado pensando no estilo de planejamento original do modelo, levando à regressão de performance.

Qual a solução proposta pela Salesforce para esse problema?

A Salesforce desenvolveu uma 'pipeline de correção de especialista on-policy'. Essa abordagem, automatizada por um meta-agente de IA, identifica a falha específica na execução do modelo menor e pede ao especialista para reescrever apenas aquela parte. Isso preserva o estilo de planejamento original do modelo, combinando os benefícios da evolução do harness com a adaptação do modelo.

Como essa pesquisa se relaciona com os custos de modelos de IA?

A capacidade de usar modelos menores com eficiência para tarefas específicas é crucial para reduzir custos. Modelos de IA de ponta são caros. Ao otimizar a interação entre modelos menores e seus 'harnesses' sem degradar o desempenho, é possível alcançar bons resultados em tarefas de domínio específico por uma fração do custo dos modelos mais avançados, tornando a IA mais acessível e escalável.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
11 de setembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser