Proposta revisada para o Parquet quer footer modular e tira dos row groups o papel de fronteira física

A proposta de footer modular para o Apache Parquet ganhou uma versão revisada, apresentada por Jiayi Wang na lista de desenvolvimento em 30 de outubro de 2026. A ideia central é trocar o footer monolítico em Thrift por módulos de metadados que podem ser lidos de forma independente. Na nova versão, esses módulos são representados como páginas Parquet, e não mais pelo conceito de EncodedArray, que recebeu críticas por ser opaco e confuso. Segundo a autora, o EncodedArray existia para modelar arrays em Thrift com acesso aleatório, ao custo da legibilidade.

O layout também mudou. Os row groups deixam de ser fronteiras físicas. Um column chunk passa a ser apenas um conjunto contíguo de páginas de uma coluna, e colunas diferentes podem ter números diferentes de chunks no arquivo. Os metadados de row group viram opcionais, e as estatísticas são definidas por intervalos de linhas, com cada coluna publicando no nível de granularidade que preferir. O uso de páginas permite compressão opcional por página e acompanha a evolução dos encodings do formato. Segundo a autora, o footer fica comparável em tamanho e desempenho ao da proposta original, só que mais simples e flexível. Em 3 de novembro de 2026, Julien Le Dem chamou a mudança de "bastante transformacional" e disse esperar que o formato do footer não mude de novo por um bom tempo. Micah avaliou o desenho positivamente, mas pediu limpeza e mais documentação no proto do footer. A proposta segue em revisão e exigiria mudanças em readers e writers.

Para quem opera data lakes com tabelas largas, o ganho esperado está no planejamento de queries: ler só os metadados das colunas usadas reduz o custo de abrir arquivos com milhares de colunas. Isso pesa mais em leituras frias em object storage. Para quem mantém engines e bibliotecas, o custo é de implementação, já que o contrato de row group como unidade física deixa de valer. Vale acompanhar a revisão antes de planejar qualquer adoção.