Como deixar agentes de IA mais rápidos: lições de 12 meses de experiência

O autor, que passou boa parte da carreira otimizando sites e apps, aplica a mesma lógica a fluxos agênticos. Ele separa a velocidade de inference em duas métricas. TTFT (tempo até o primeiro token) é o equivalente ao TTFB de servidores web e inclui o prefill, então cresce com a quantidade de tokens enviados. Tok/s mede a vazão depois que a resposta começa, mais próxima de largura de banda. Muitas respostas curtas entre turnos pesam mais no TTFT. Saídas longas, como código ou documentos, pesam mais no tok/s.

Ele também avisa que a inference não é a maior parte do problema. Em números aproximados, cortar o tempo de inference pela metade tira só 20% da tarefa se provisionamento, tools e suspend/resume continuarem iguais. Entre os pontos práticos estão o uso de xargs que dispara centenas de milhares de processos, o .bashrc com nvm pesando a cada novo shell, loops com sleep que indicam polling, IPv6 quebrado em sandboxes e microVMs que retomam rápido no papel, mas carregam páginas só no primeiro acesso. Para descobrir o que o agente precisa, a dica é olhar os blocos de thinking antes das chamadas lentas, o que é mais fácil com modelos de pesos abertos. Segundo o autor, os thinking budgets são o ponto mais fácil de atacar primeiro.

Para quem opera agentes em produção, a leitura é que trocar de provedor ou pagar tier mais rápido costuma ser a saída mais cara e a de menor retorno. Medir onde o tempo realmente vai (thinking, tools, disco, rede, resume) tende a render mais, e é trabalho de performance que equipes de backend já sabem fazer.