Crise dos benchmarks: engines de banco de dados geradas por IA estão manipulando o ClickBench

O texto parte da lei de Goodhart: toda métrica vira alvo e deixa de servir quando as pessoas passam a otimizar para ela. Em banco de dados isso tem precedente. O TPC-D foi aposentado porque o excesso de cache levou os tempos de consulta para perto de zero. O TPC-H respondeu se declarando ad-hoc e proibindo explorar conhecimento da carga e fazer cache de resultados.

Agora o alvo é o ClickBench. A fonte descreve três atalhos do pgrust. O primeiro agrupa colunas de string só pelo valor de hash, ignorando o conteúdo longo, o que é rápido mas pode gerar resultado errado. O segundo faz cache de predicados que o benchmark repete entre consultas, zerando o custo na segunda execução. O terceiro está na Q17: como as tuplas são mais ou menos agrupadas por userid e a consulta usa limit sem order by, qualquer userid serve, e a engine nunca lê a maior parte dos dados. O autor diz que um humano não faria essas microotimizações, mas uma IA analisa cada consulta e ajusta para ela. Ele também aponta falhas do ClickBench: regras vagas, sem fluxo de atualização, consultas simples e predicados compartilhados.

Como saída, propõe benchmark ad-hoc sem cache de resultados intermediários, com update stream e com sistemas mais antigos que o benchmark. Sugere ainda ideias do aprendizado de máquina, como conjunto de teste oculto (estilo Kaggle) e perguntas renovadas (estilo LiveBench), além de gerar uma carga nova a cada rodada. O próprio SQLStorm, com dezenas de milhares de consultas, não seria defesa real, já que a IA poderia analisar todas.

O tema já vinha aparecendo na cobertura do CEVIU. Em 18 de agosto de 2026, o CEVIU noticiou "A 'Benchmarkpocalypse': Manipulação de Testes e a Inflação de Ganhos de Performance em Tecnologia", e em 19 de agosto de 2026 saiu "A 'Benchpocalypse': Agentes de IA Otimizam Benchmarks em Detrimento da Performance Real". Eram discussões gerais sobre agentes de IA otimizando pontuação. A notícia de agora traz um caso concreto em bancos de dados, com o pgrust e o ClickBench, e com técnicas descritas consulta a consulta.

Para quem escolhe engine analítica olhando ranking, a leitura é de cautela: um tempo ótimo no ClickBench pode vir de atalho que não vale para a sua carga, ou que até devolve resultado incorreto. Vale validar com dados e consultas próprios, incluindo escrita. Para quem publica benchmarks, a mensagem é que cargas fixas e públicas ficam cada vez mais fáceis de explorar.