Voltar
HarnessAgent, do AI SDK, passa a aceitar imagens como entrada em todos os harness adapters

HarnessAgent, do AI SDK, passa a aceitar imagens como entrada em todos os harness adapters

Aprofundamento CEVIU

Aprofundamento

A camada HarnessAgent do AI SDK agora aceita imagens como entrada em todos os harness adapters. Não existe API nova para isso: a imagem entra no formato de mensagem padrão do AI SDK, um array de content que mistura partes { type: 'text' } e { type: 'file' }. Quem interpreta a imagem são os modelos de visão de cada harness, não o AI SDK.

O suporte cobre Claude Code, Cline, Codex, Cursor, Deep Agents, fx, GitHub Copilot, Grok Build, OpenCode e Pi. No exemplo da publicação, o harness Codex (@ai-sdk/harness-codex) descreve uma imagem. O fluxo cria um HarnessAgent, abre uma sessão em um sandbox da Vercel com runtime node24 e chama agent.generate com uma mensagem de usuário. Essa mensagem leva um texto e um arquivo com mediaType image/png, lido com readFileSync. A documentação de image inputs do HarnessAgent traz o passo a passo.

O que mudou

Em 13 de junho de 2026, o CEVIU noticiou "Programe Claude Code, Codex, Pi e outros agent harnesses com o AI SDK", quando o AI SDK passou a permitir programar e gerenciar harnesses desse tipo. Na época, a cobertura falava de suporte a ferramentas como Claude Code, Codex e Pi. Agora a camada ganha um tipo de entrada além do texto, válido para todos os adapters listados. Em 21 de outubro de 2026, o CEVIU também noticiou "Vercel lança durable-harness para tornar qualquer harness de coding agent resiliente a falhas", que tratava de durabilidade. A novidade de hoje é de outra natureza: entrada multimodal.

Por que isso importa

Para quem constrói agentes de código sobre o HarnessAgent, a leitura é que dá para mandar screenshot de bug ou mockup de interface sem escrever código específico para cada harness. O formato de mensagem é o mesmo para todos. Fica a ressalva prática: como a interpretação depende do modelo de visão de cada harness, a qualidade da resposta pode variar entre adapters, algo a testar no seu caso.

Linha do tempo

  1. AI SDK passa a permitir programar e gerenciar agent harnesses como Claude Code, Codex e Pi.

  2. Vercel lança o durable-harness para dar resiliência a falhas a harnesses de coding agent.

  3. HarnessAgent passa a aceitar imagens como entrada em todos os harness adapters.

Perguntas frequentes

Como enviar uma imagem para o HarnessAgent?

Use o formato de mensagem padrão do AI SDK. No content da mensagem do usuário, combine uma parte { type: 'text' } com uma parte { type: 'file' }, informando o mediaType (como image/png) e os dados da imagem. Depois chame agent.generate com a sessão.

Quais harness adapters aceitam imagens?

Todos os disponíveis: Claude Code, Cline, Codex, Cursor, Deep Agents, fx, GitHub Copilot, Grok Build, OpenCode e Pi.

Quem processa a imagem?

Os modelos de visão subjacentes de cada harness. O AI SDK apenas transporta a imagem junto com o texto, no formato padrão de mensagem.

Preciso de um sandbox para usar o recurso?

No exemplo da publicação, sim: a sessão é criada em um sandbox da Vercel com runtime node24, via createVercelNetworkSandboxSession, e passada ao agent.createSession. A fonte não detalha outros cenários.

Fontes

Avalie este artigo:
Categoria
CEVIU Web Dev
Publicado
27 de outubro de 2026
Editoria
CEVIU Web Dev

Quer receber mais sobre CEVIU Web Dev?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser