GUI-Owl 1.5: modelo de 2B de parâmetros opera apps Android direto no celular

O GUI-Owl 1.5 2B vem da equipe Mobile-Agent da Alibaba e é um fine-tune do Qwen3-VL. Ele recebe uma captura de tela e responde com uma única ação. Quem o empacotou foi o app Android Opposable, que lê a tela pelo serviço de acessibilidade e toca e digita em outros apps. Claude, ChatGPT ou Codex podem comandar o app a partir de um computador. Sem nenhum deles conectado, o modelo de 2 bilhões de parâmetros roda o mesmo ciclo no aparelho, sem servidor.

O modelo roda em 4 bits via llama.cpp: 1,05 GB para o modelo de linguagem e 445 MB para o encoder de visão. Num Mac M2 (CPU, 4 threads), o passo caiu de 10,6 s para 7,3 s com a mesma acurácia no conjunto de teste de 36 telas (27 de 36). Os ganhos vieram de recorte de barras e teclado, poda de tokens de fundo (25 a 40% menos tokens), cache do prompt de sistema de 900 tokens e saída antecipada quando a intenção bate com um único elemento da árvore de acessibilidade. Na NPU do Galaxy S25 (Snapdragon 8 Elite), o encoder em fp16 leva 236 ms contra 3,9 s no M2. A primeira carga leva 72 s, uma vez por instalação.

Há limites claros. Só existe build para NPU Snapdragon; Pixel (Tensor), MediaTek e Exynos caem para GPU ou CPU. A entrada de 640 tokens não compilou para a NPU. Em oito tarefas inéditas, dar a tarefa inteira ao modelo funcionou 4 e 3 vezes; dividir em subobjetivos verificados pela árvore de acessibilidade chegou a 6 nas duas rodadas. Em apps desconhecidos o modelo é bem mais fraco que um modelo de nuvem, e o app repassa essas tarefas ao agente conectado.

Em 25 de junho de 2026, o CEVIU noticiou "Google apresenta computer use nativo no Gemini 3.5 Flash", e em 26 de junho de 2026, "Como controlar um celular Android com o Gemini 3.5 Flash Computer Use". Ali, o ciclo de captura de tela e ação estruturada dependia de um modelo de nuvem. Agora o mesmo ciclo roda num modelo de 2B dentro do aparelho. Em 5 de agosto de 2026, a matéria "A IA Autônoma que Chega ao Seu Bolso" já tratava do LFM2.5-2.6B operando em dispositivo, o que mostra a tendência de modelos pequenos agentic no celular. São projetos distintos, sem relação direta com o GUI-Owl.

Para quem opera agentes móveis, a leitura é que o gargalo deixou de ser só o modelo e passou a ser o encoder de visão: metade do passo na CPU. Mover isso para a NPU muda a conta de latência, mas só em Snapdragon por enquanto. O ganho de acurácia com subobjetivos verificados sugere que orquestração e checagem pesam tanto quanto o tamanho do modelo.