Together Compiler propõe compilação contínua para otimizar inference

A Together AI apresentou o Together Compiler (TKCC), um loop de otimização contínuo para inference. Ele recebe três entradas: o formato do tráfego, o modelo e o hardware. Com isso, agentes geram uma série de otimizações para o motor de inference. A premissa da empresa é que otimizar na mão cada combinação de modelo, GPU e perfil de cliente não escala mais. Segundo o blog, nenhum dos dez maiores LLMs open-source no OpenRouter usa a mesma arquitetura, e o hardware vai de H100 e B200 a B300, NVL72, VR e Groq.

O diferencial técnico está em três pontos. Primeiro, "engines persistentes": o motor sobe uma vez e recarrega qualquer forward pass candidato sem reiniciar, já que o start de VLLM, SGLang ou TRT-LLM leva dezenas de minutos. Segundo, uma camada de engines rápidas (poucas camadas, iteração veloz) e lentas (muitas camadas, dados reais) para equilibrar vazão e fidelidade de medição. Terceiro, um cost model que combina specs de hardware, microbenchmarks e forward passes medidos para escolher paralelismo (TP, EP, DCP). Os números citados: até 2,6x mais TPS, 1111 TPS no MiniMax M3.1-Flash e 1205 TPS no DeepSeek v4.1-Flash em batch size 1, 1,7x sobre megakernels open-source no Llama 1B, e 252x mais throughput de experimentos que sistemas agênticos de referência. Todos são resultados reportados pela própria Together, que diz já servir trilhões de tokens com o compilador.

A cobertura anterior mostra uma tendência de agentes otimizando inference, mas de outros atores. Em 29 de outubro de 2026, o CEVIU noticiou "Decagon constrói inference stack que se otimiza sozinho com agentes AutoResearch", com ganhos de até 2,5x em throughput a partir de replays de tráfego de produção. Em 27 de maio de 2026, saiu "Extraia Mais Desempenho de Kernel com o Auto-Tuning do NVIDIA CompileIQ", sobre auto-tuning de compilador de GPU com algoritmos evolucionários. São casos distintos do TKCC, não versões anteriores dele. A comparação é de abordagem: a Together reivindica um loop contínuo com engines persistentes e foco em escala de experimentos.

Para quem opera inference em produção, a leitura é que o ajuste fino por workload deixa de ser trabalho manual e vira processo contínuo. Os números vêm do blog do fornecedor, então vale reproduzir no seu tráfego antes de tomar como regra. O dado sobre contexto (prompts 80% maiores duas semanas após um lançamento de modelo) sugere que configurações estáticas envelhecem rápido.