StreamVibe-VL: modelo de visão e linguagem infere intenções implícitas do usuário em vídeo contínuo

O StreamVibe-VL ataca um limite dos modelos de visão e linguagem atuais: eles respondem bem a pedidos explícitos, mas não captam a intenção implícita. O exemplo do artigo é o usuário navegando num site e se perguntando "onde devo clicar a seguir?". Os métodos vigentes também não atualizam o estado quando o pedido muda ao longo da interação.

O trabalho tem três peças. O StreamVibe-Bench é um benchmark com 4,1 mil amostras de avaliação e 85 mil de treinamento, cobrindo intenções explícitas, implícitas e dinâmicas. O StreamVibe-VL é o modelo proativo em streaming, que infere intenções a partir de observação contínua. O StreamVibe-Harness mantém as intenções como estados persistentes, com ciclos de vida flexíveis, usando uma memória hierárquica para rastrear a intenção mais recente e o estado do ambiente.

Os números vêm do próprio abstract: o modelo mantém a compreensão geral de vídeo e melhora o momento e a qualidade da resposta em 10,7% sobre os baselines. O Harness soma 12,3% de ganho em interação proativa. Os autores também afirmam que modelos proativos existentes ainda falham em entender a intenção e decidir quando responder, sobretudo em intenções implícitas e dinâmicas. É pesquisa publicada no arXiv, não produto disponível.

Para quem constrói agentes que observam tela ou vídeo em tempo real, o problema central deixa de ser só "o que responder" e passa a ser "quando responder". Este trabalho trata o momento da resposta e a memória de intenção como parte do sistema. Antes de adotar, vale checar como os ganhos se comportam fora do benchmark criado pelos próprios autores.