Benchmark mede quanto custa usar IA para construir o mesmo app em diferentes frameworks JavaScript

O benchmark de Nolan Lawson parte de uma crítica: boa parte das decisões em web dev é baseada em "vibes", e na era dos agentes isso continua, com reescritas de frontend justificadas por um framework ser "melhor para agentes" sem medição. A proposta foi medir. O app é um site de Pokémon com a PokéAPI (lista, busca, filtros, tipos, moves), construído por um agente (Opus 5.5 com esforço alto) em cada framework ou meta-framework, como Next.js, Nuxt, SvelteKit, Angular, TanStack Start, Hono com htmx, Gracile com Lit e uma versão "Vanilla" com Vite. Cada um usou o MCP ou as skills oficiais, quando existiam, sem Tailwind, Bootstrap ou similares.

A conformidade foi checada por uma suíte baseada na árvore de acessibilidade, não no DOM bruto, para não impor estrutura HTML (um framework usa web components com shadow DOM). Gerar HTML estático pré-pronto foi proibido e verificado. Os números são medianas de 5 execuções, exceto Angular: em 2 rodadas o agente criou um app SSR que rejeitava hosts fora de localhost, contra a instrução de proxy reverso, e Lawson não refez, então usou 3 iterações em alguns indicadores. O custo vem do preço de API reportado pelo Claude Code, não do gasto real (ele usa um plano Max). A mediana vai de US$ 2,67 (Hono com htmx) a US$ 4,97 (Angular). SvelteKit, Gracile com Lit e Angular saem mais caros. No SvelteKit, os agentes leram o guia de migração da v3 em toda execução, provavelmente por ser novo demais para o treinamento. No Gracile, clonaram o repositório ou leram o código compilado em node_modules. No Angular, o custo acompanha o tamanho do código.

A variância é grande: a mediana do React Router fica cerca de US$ 1 acima da do Hono com htmx, mas sua execução mais barata (US$ 2,82) custou menos que a mais cara do Hono com htmx (US$ 3,19). Em qualidade, as notas de Performance, Accessibility e CLS no Lighthouse ficaram quase saturadas. As diferenças aparecem em bytes de JavaScript, TBT e LCP, que tendem a favorecer MPAs sobre SPAs. O próprio autor avisa que o Lighthouse e os Core Web Vitals são enviesados contra SPAs. Em manutenção, o Hono com htmx entrega algo equivalente ao Angular com cerca de 70% do código. A versão Vanilla, que ficou SPA nas 5 vezes, rendeu pior que vários frameworks.

Em 29 de outubro de 2026, o CEVIU noticiou "Benchmark mede quanto custa para a IA construir o mesmo app em diferentes frameworks JavaScript", sobre o mesmo experimento. Esta matéria não traz resultado novo. Ela detalha o método, as ressalvas de variância e os fatores por trás do custo de cada framework, e reforça os limites do estudo, com carga pequena e execuções muito dispersas.

Para quem escolhe stack com agente de código no fluxo, a leitura é cautelosa: o custo parece depender de o framework estar no treinamento do modelo, de o agente achar o MCP ou as skills e do volume de código gerado. Mas o app é pequeno, focado em conteúdo, e a dispersão entre execuções é alta. Serve como ponto de partida para medir o seu caso, não como ranking definitivo.