MolmoPoint da AI2: Uma Nova Arquitetura de Grounding Open-Source

O MolmoPoint não é só mais um modelo de visão-linguagem: é uma mudança de paradigma no grounding visual. Enquanto abordagens anteriores dependiam de coordenadas X/Y ou caixas delimitadoras, que exigem conversão, arredondamento e perdem granularidade, o MolmoPoint introduz tokens de grounding hierárquicos: primeiro aponta um remendo grosso da imagem, depois refina para um sub-remendo e, por fim, localiza com precisão milimétrica. Esse método reduz de oito para três tokens por ponto, acelera o treinamento e melhora a robustez em condições reais, como oclusão parcial ou baixa resolução.

Os três modelos têm papéis distintos e complementares: o MolmoPoint-8B é o generalista, liderando benchmarks de pointing em imagens; o MolmoPoint-GUI-8B foi treinado exclusivamente em interfaces reais e sintéticas, 36 mil telas com 2 milhões de pontos anotados, e supera todos os modelos open-source em tarefas como clicar em botões invisíveis ou navegar em menus dinâmicos; já o MolmoPoint-Vid-4B prioriza fluidez em vídeo, com rastreamento humano-validado em 13 mil vídeos, incluindo cenas com múltiplos objetos em movimento cruzado. Tudo isso roda com o mesmo backbone de visão do Molmo 2, mas com nova cabeça de grounding totalmente reescrita.

Grounding eficiente é o que separa um assistente que 'descreve' uma tela de um agente que 'age' nela. O MolmoPoint torna viável, com código aberto, a construção de agentes capazes de operar softwares, controlar robôs por visão ou auditar interfaces quanto à acessibilidade, sem depender de APIs fechadas ou OCR frágil. Sua eficiência também reduz barreiras de entrada: com apenas 8.192 exemplos, ele alcança desempenho superior ao de modelos baseados em coordenadas treinados com dez vezes mais dados. Isso democratiza o desenvolvimento de aplicações práticas de IA visual fora dos grandes laboratórios.