Quail eleva processamento de tokens em IA a 1 bilhão por minuto em uma única GPU

O Quail (QUery-Aware Inference Layer) não é apenas mais um motor de inferência. Ele foca na otimização de uma categoria específica de cargas de trabalho de LLMs: as queries AI-SQL. Em vez de lidar com a variabilidade de prompts de agentes de IA ou chatbots, que exigem grande esforço de decodificação, o Quail se beneficia de um planejamento de query estruturado. Ele sabe antecipadamente o que será pedido, permitindo uma gestão inteligente do cache KV (Key-Value) dos Transformers.

A inovação do Quail vem da colaboração entre pesquisadores de inferência da Modal e especialistas em bancos de dados da Carnegie Mellon University. Eles aplicaram conceitos de otimização de query de bancos de dados a problemas de inferência de IA, como a predição da demanda de cache. O Quail evita a fase de decodificação, que é ineficiente em GPUs, concentrando-se na fase de prefill, otimizada para classificação booleana (AI.IF) e junções dentro do AI-SQL. Isso resulta em um uso mais eficiente da GPU, especialmente em tarefas que exigem alta taxa de processamento de tokens para dados estruturados.

A cobertura anterior do CEVIU News, em 28 de setembro de 2026, já destacava o Quail como um motor AI-SQL promissor, com testes indicando uma performance 1,84 vezes mais rápida que o vLLM ajustado em média. Agora, a equipe do Quail divulgou um resultado específico que eleva o patamar: o motor alcançou um bilhão de tokens processados por minuto em uma única GPU H100, um desempenho dez vezes superior ao vLLM em um cenário de query multi-join. Essa nova marca demonstra a capacidade máxima do sistema em uma carga de trabalho ideal, mostrando que as otimizações do Quail podem gerar ganhos de performance muito mais expressivos para casos de uso específicos de AI-SQL do que as médias iniciais sugeriam.

A capacidade de processar um bilhão de tokens por minuto a um custo inferior a US$0,06 por bilhão de tokens é um marco que muda as regras do jogo para aplicações de IA-SQL. Isso torna a utilização de LLMs em escala para tarefas de business intelligence (BI) e análise de dados muito mais viável e econômica. Empresas podem agora extrair insights de grandes volumes de dados não estruturados ou semi-estruturados, como documentos e campos de texto livre em bancos de dados, sem comprometer orçamentos. A arquitetura do Quail, que integra otimização de bancos de dados com inferência de IA, abre caminho para uma nova geração de ferramentas analíticas, tornando a IA uma parte mais intrínseca e eficiente dos sistemas de dados existentes.