Apache Hop 2.20 traz Iceberg nativo, sem Spark, e recursos de IA para pipelines

O Apache Hop 2.20 é, segundo a comunidade, a maior versão do projeto: 30 contribuidores (14 deles estreantes) fecharam 578 issues e fizeram merge de mais de 650 pull requests em três meses. Para quem trabalha com dados, o ponto central é o lakehouse. As transformações Lake table input e Lake table output leem e gravam tabelas Apache Iceberg nos engines local e remoto do Hop, sem Spark, e substituem as transformações de Iceberg que levavam Spark no nome. O Parquet File Output agora grava partições no estilo Hive (por exemplo year=2026/month=08/) em um ou mais campos, também sem o engine Spark, e a perspectiva Explorer abre arquivos .parquet em modo somente leitura, com schema e as primeiras 1000 linhas.

O bloco de IA é opcional e passa por um novo metadado, o AI Provider, que guarda modelos de chat, embedding e reranker. Há Text chunker, Embed Text e um tipo de valor Vector, além de pgvector upsert e pgvector search para guardar embeddings no PostgreSQL e fazer buscas top-k por similaridade. O Structured extract usa um modelo de linguagem para extrair campos tipados de texto livre. O AI Assistant vem desligado por padrão, e cada alteração é revisada e pode ser desfeita. Em qualidade e governança, entram mascaramento de PII com padrões reutilizáveis, validação de valores contra a tabela de destino antes do insert, um motor de lint (hop lint, com saída SARIF/JSON para CI) e um plugin OpenLineage com linhagem de execução, arquivo e coluna.

Quem roda Hop em produção deve ler a seção de mudanças de comportamento. A API /hop/* do Hop Web fica fechada por padrão, o DDL gerado para campos inteiros e strings do SQL Server muda, e as tabelas de mapeamento de máscara com hash secret são convertidas, então convém fazer backup antes. Também voltam a funcionar, após regressões, o throughput no Java 21 e o comportamento de parâmetros em sub-pipelines da versão 2.19.

A cobertura do CEVIU dá o pano de fundo do movimento "Iceberg sem Spark". Em 23 de julho de 2026, o CEVIU noticiou "DuckDB e Iceberg: ETL Completo Sem Spark Abre Novas Possibilidades para Engenheiros de Dados", sobre a extensão Iceberg do DuckDB com CTAS, MERGE INTO, INSERT, UPDATE e DELETE. Em 6 de outubro de 2026, veio "Apache Iceberg 1.12.0: Desempenho e Inovação para Dados em Escala". O Hop 2.20 segue na mesma direção, mas é outro projeto: a cobertura não liga as duas coisas, e o Hop é apresentado aqui como ferramenta de ETL visual, não como engine de consulta.

Para quem opera pipelines de ETL em Hop, ler e gravar Iceberg sem montar um cluster Spark reduz infraestrutura e custo operacional em cargas pequenas e médias. Para times que já usam Spark, a opção continua existindo, com suporte a YARN. A combinação de OpenLineage, mascaramento e lint também aponta para governança embutida no próprio pipeline. Já a parte de IA (embeddings e pgvector) é uma leitura de oportunidade: dá para montar um fluxo de chunk, embed, armazenar e buscar sem sair da ferramenta, mas vale testar antes de levar a produção.