Iceberg v4 ganha stats-only fields para guardar estatísticas de expressões de partição

A proposta de spec (PR 18405 no repositório do Apache Iceberg) adiciona os stats-only fields aos metadados da tabela. Um campo desse tipo serve para rastrear estatísticas de um valor derivado que não é materializado. O exemplo do próprio PR é guardar estatísticas de to_lower_case(name) sem criar uma coluna nova. O texto prevê dois casos: campos de partição, para o resultado de bucket partitioning, e expressões de valor, para usos como o da string em minúsculas.

A discussão no PR mostra os pontos delicados do desenho. O tipo partition-value não exige data-type, porque o tipo pode ser promovido (de int para long, por exemplo) quando a coluna de origem é alargada, e o metadado ficaria defasado. A proposta em debate pede data-type sempre que o tipo do campo não define como derivar o resultado, e ele deve ser primitivo ou variant. Sobre escrita, o texto atual diz que o writer deve preservar estatísticas existentes quando o data-type é conhecido. Deve produzir estatísticas quando possível. Se a expressão não é suportada, gera tipo incompatível ao ser vinculada ou falha na vinculação, o writer grava o struct de estatísticas do campo como nulo.

Os autores também reconhecem um risco: promoções de tipo (como date para timestamp) podem mudar o valor de uma expressão como bucket, o que poderia causar pruning incorreto. A resposta no PR foi tratar isso em discussão separada e orientar o uso de expressões que deem resultado consistente entre promoções de tipo.

Para quem modela tabelas Iceberg e cuida de desempenho de consulta, isso abre caminho para filtrar por expressões frequentes (buckets, texto normalizado) sem duplicar colunas e sem pagar armazenamento extra. É uma leitura editorial: o ganho depende de engines e writers implementarem a spec e do cuidado com a evolução de schema, já que expressões que mudam de comportamento invalidam estatísticas antigas.