Atenção, Desenvolvedores: Nem Toda Atualização de Modelo de IA é um Avanço

A are é uma iniciativa de pesquisa da Microsoft, liderada por Waldek Mastykarz, que avalia como agentes de codificação de IA se comportam em cenários reais de desenvolvimento, não como modelos isolados, mas como componentes integrados ao fluxo de trabalho do engenheiro. Ela testa agentes no GitHub Copilot Chat no VS Code, com foco em tarefas práticas: projetar arquiteturas Azure com base na documentação da Microsoft Learn e atualizar projetos SharePoint Framework (SPFx). O que a are mede não é só acurácia ou velocidade, mas custo real por execução, variação de consumo de tokens, aderência a instruções explícitas e qualidade idiomaticamente aceita no ecossistema, como seguir convenções de estrutura de projeto, estilo de configuração ou padrões de migração.

O Claude Sonnet 5, lançado em 30 de junho de 2026, traz um novo tokenizer que mapeia o mesmo texto para até 30% mais tokens que o Sonnet 4.6, explicando parte do salto de consumo. Ele também foi projetado para maior agenticidade: raciocínio passo a passo, uso de ferramentas e navegação em conteúdo não estruturado. Mas essa capacidade não é linear: em tarefas de design arquitetural, o modelo mais novo gerou saídas menos idiomáticas e mais caras; em migrações SPFx, superou o antecessor em fidelidade à instrução, mas falhou igualmente nas mudanças estruturais não documentadas, como migração de gulp para Heft ou reformatação de ESLint. Isso confirma um limite técnico real: nenhum modelo resolve lacunas de conteúdo. A are não é um produto comercial, nem um SDK, é um protocolo de avaliação, com critérios binários (Select gate), dimensões de qualidade (Idiomatic, Completeness) e juízes LLM calibrados. Seu valor está em transformar hipóteses sobre 'melhor modelo' em dados operacionais mensuráveis.

A cobertura CEVIU anterior já alertava que LLMs trazem ganhos incrementais, não revolucionários Uma Análise Crítica sobre LLMs no Desenvolvimento de Software, e que a adoção cega de agentes pode ser um erro custoso Adoção de agentes de IA no desenvolvimento de software pode ser um erro custoso. Agora, com os dados da are, isso virou evidência técnica concreta: o upgrade para Sonnet 5 não é uma melhoria universal. O que era rumor, 'modelos novos sempre entregam melhor DX', foi refutado por medições reais em produção simulada. O que era teórico, a ideia de que 'conteúdo ruim limita IA mais que o modelo', foi validado com sete etapas de migração SPFx que nenhum dos dois modelos descobriu, por estarem ausentes na documentação. E o que era abstrato, 'variação de token como risco financeiro', virou número: 16 mil tokens numa execução, 6,6 milhões em outra, mesma tarefa, mesmo prompt.

Para desenvolvedores e equipes de plataforma, isso significa que trocar de modelo sem medir o impacto em sua carga de trabalho específica é apostar no escuro. Um modelo mais barato por token pode gerar contas 3,7x maiores. Um modelo mais 'agentic' pode entregar saídas piores em 8 de 9 cenários de arquitetura. E a única forma de saber onde seu caso cai é testar com seus próprios prompts, seus próprios documentos e seus próprios critérios de qualidade, não com benchmarks genéricos. A experiência do desenvolvedor (DX) não depende só do modelo, mas da previsibilidade do custo, da consistência da saída e da adequação ao contexto técnico real. Ignorar isso transforma IA de acelerador em fonte de dívida técnica e orçamentária.