Benchmark mede quanto custa para a IA construir o mesmo app em diferentes frameworks JavaScript

O benchmark de Nolan Lawson pediu ao Opus 5.5, com esforço alto, que construísse o mesmo app de Pokémon (baseado na PokéAPI) em vários frameworks e meta-frameworks JavaScript. Cada agente rodou em sandbox, recebeu uma suíte de conformidade com a especificação e não sabia que seria avaliado depois no Lighthouse. A suíte testa a árvore de acessibilidade, não o DOM bruto, porque um dos frameworks usa web components com shadow DOM. Tailwind, Bootstrap e outros frameworks de componentes ficaram proibidos, e gerar HTML estático pré-pronto também.

Os números vêm da mediana de 5 execuções por framework. Angular é a exceção: falhou duas vezes em criar um app funcional (um SSR que rejeitava hosts fora de localhost, apesar de a instrução citar reverse proxy), então a mediana usou 3 iterações. A variância é grande: a mediana do React Router é cerca de US$ 1 pior que a de Hono+htmx, mas a execução mais barata do React Router (US$ 2,82) custou menos que a mais cara de Hono+htmx (US$ 3,19). Ainda assim, SvelteKit, Gracile+Lit e Angular saíram mais caros. No SvelteKit, os agentes liam o guia de migração do SvelteKit v3 em toda execução. No Gracile, clonavam o repositório ou liam o código compilado em node_modules. No Angular, o custo acompanha o tamanho do código. Hono+htmx entregou algo parecido com Angular usando cerca de 70% das linhas.

Nas métricas do Lighthouse, Performance, Accessibility e CLS ficaram quase saturadas. Bytes de JavaScript foi a métrica mais confiável, e o LCP tende a favorecer MPAs sobre SPAs, com o Qwik como exceção. O autor admite que o app é focado em conteúdo, que o Lighthouse penaliza SPAs e que o uso de MCP e skills foi irregular (Nuxt nunca usou o MCP, por exemplo).

Não há evolução do mesmo assunto na cobertura anterior, mas há contexto próximo sobre custo de IA em código. Em 18 de setembro de 2026, o CEVIU noticiou "Análise revela impacto de 'agent harnesses' no custo da geração de código por IA", sobre variação de tokens entre ferramentas como Claude Code, Codex CLI e Pi. O benchmark atual muda a variável: fixa o agente e o modelo e compara frameworks.

Para quem escolhe stack com agentes de codificação, o recado é que o framework entra na conta de tokens, e não só o modelo ou o harness. Leia o ranking com cautela: com 5 execuções, variância alta e um app de conteúdo, ele serve mais como ponto de partida para testar o seu próprio caso do que como veredito.