Google Cloud detalha AI.AGG, função do BigQuery que faz agregação semântica sobre milhões de linhas com uma única query SQL

O AI.AGG ataca um problema prático: funções de IA por linha, como AI.GENERATE e AI.CLASSIFY, não resolvem a análise holística de grandes conjuntos, porque milhões de linhas não cabem na janela de contexto de um LLM. Sem solução nativa, times de engenharia de dados montavam pipelines map-reduce externos, tratavam rate limiting e combinavam resumos de chunks na mão.

A função, em preview, trata a agregação semântica como um map-reduce distribuído dentro do GoogleSQL. O engine valida cada linha (acima de 10 MiB, descarta ou gera erro), agrupa em batches que cabem no limite de tokens do endpoint Gemini escolhido, roda a inferência em paralelo via Vertex AI e faz a síntese recursiva até sobrar uma string por GROUP BY. Como precisa de raciocínio entre batches, usa LLMs completos em todas as etapas, ao contrário do AI.CLASSIFY, que pode usar modelos proxy destilados em CPU.

Há detalhes operacionais que importam para quem monta pipeline. Um STRUCT com campo NULL faz a linha inteira ser descartada em silêncio, então vale usar IFNULL(). Por causa do batching recursivo, o total de tokens enviados ao Gemini excede o dos dados de origem, e a recomendação é filtrar com WHERE e LIMIT, além de estimar custo com AI.COUNT_TOKENS. O limite de saída é de 10.000 tokens por grupo, e a recomendação de estabilidade é até 20 milhões de linhas e 1.000 grupos por query. Em multimodal, menos de 10 imagens por linha para evitar descarte silencioso. A função respeita VPC Service Controls e, em erro transitório, pula as linhas rejeitadas em vez de derrubar a query.

O AI.AGG se apoia em peças que o CEVIU já vinha cobrindo. Em 22 de outubro de 2026, o CEVIU noticiou que o ObjectRef chegou à disponibilidade geral no BigQuery, consolidando a análise multimodal no SQL. A nova matéria usa Object Tables e OBJ.GET_ACCESS_URL para agregar imagens no Cloud Storage, então a base multimodal já existia quando a agregação semântica apareceu. Já em 29 de outubro de 2026, o resumo de atualizações do Google Data Cloud antecipava o evento Agentic Data Cloud de 4 de novembro, e o blog atual fala justamente em um "agentic data cloud". A conexão é de contexto de plataforma, não uma entrega confirmada da cobertura anterior.

Para quem opera pipelines de dados, a leitura é que parte do trabalho de map-reduce com LLM sai do código externo e vai para uma query. Isso reduz orquestração, mas traz custo de tokens menos previsível e limites que precisam entrar no desenho. Para governança, manter tudo dentro do BigQuery facilita auditoria e controle de acesso. Como é preview, convém testar em volume pequeno antes de colocar em produção.