Estudo com oito LLMs indica que limpeza de dados depende de conhecimento memorizado

O trabalho propõe o protocolo CoRE (Cleaning or Recalling) para separar duas coisas que benchmarks públicos de limpeza de dados misturam: reparar uma tabela com base na evidência e simplesmente lembrar de fatos sobre entidades conhecidas. O protocolo compara benchmarks públicos com registros reais novos e com substitutos de nomes (surrogates) criados a partir de palavras em inglês ou sílabas. Os substitutos preservam a posição dos erros e os valores que não identificam a entidade, e mantêm os mecanismos de erro do benchmark.

O teste cobriu 21 tabelas controladas e oito LLMs. O desempenho variou bastante conforme os nomes das entidades nos conjuntos Hospital e, nos modelos comerciais, Movies. No DeepSeek-V4-Pro, a precisão em anos caiu de 91% para 18% quando os nomes foram trocados por substitutos baseados em palavras. Nesses dois conjuntos, os modelos comerciais pontuaram mais em registros novos do que nos substitutos. Uma sonda de continuação não achou evidência positiva de memória de linhas do benchmark nos modelos testados. O problema, segundo o estudo, está nos fatos familiares sobre as entidades, não em linhas decoradas.

Fatos conhecidos também atrapalham. Mesmo com instrução explícita para seguir a evidência da tabela, os modelos comerciais reescreveram diretores já atribuídos em taxas de 0,000 a 0,404 em filmes conhecidos. Há ainda um problema de pontuação: no Rayyan, uma correção de ISSN que bate com um registro do PubMed, localizado pelo título, não recebe crédito. Já 94% dos reparos creditados do TabClean reproduzem a transformação de data da referência. Os autores liberam tabelas controladas, código de pontuação e materiais para reexecução offline.

Para quem monta pipelines de qualidade de dados com LLM, a leitura é direta: nota alta em benchmark público não garante bom reparo em dados próprios, cheios de entidades que o modelo nunca viu. Vale validar com amostras reais do seu domínio e, se possível, com nomes mascarados. E fica o alerta de governança: um modelo que sobrescreve valor válido com fato memorizado corrompe a tabela sem dar sinal. Isso pesa mais em cadastros, catálogos e dados de saúde.