Estatísticas em Lakehouse e por que engines de consulta se perdem

Engines de consulta em lakehouse frequentemente enfrentam dificuldades porque os metadados estatísticos necessários para planejar consultas, pular dados irrelevantes, dimensionar joins e lidar com skew são opcionais, inconsistentes ou ausentes em formatos como Iceberg, Delta Lake e Parquet. Sem estatísticas confiáveis, as engines são forçadas a adivinhar, resultando em planos de consulta ruins, leituras desnecessárias, custos mais altos, problemas de memória e consultas lentas ou com falhas.