Common Crawl Lança Web Graphs Detalhados de Hosts e Domínios

A Common Crawl liberou os web graphs referentes aos meses de julho, agosto e setembro de 2026, consolidando um vasto panorama da estrutura da web. O conjunto inclui um grafo de nível de host com 245,8 milhões de nós e 2,7 bilhões de arestas, além de um grafo de nível de domínio com 133,2 milhões de nós e 2,1 bilhões de arestas. Esses dados são fundamentais para análises de conectividade, detecção de spam de links e entendimento da topologia da internet em escala massiva.

Tecnicamente, o grafo de hosts representa os nomes dos hosts em notação de domínio reverso (por exemplo, com.example.www) e aponta 74,65% de nós como "dangling nodes", que são hosts sem links de saída, não rastreados ou que retornaram erros. Já o grafo de domínio agrega os hosts por domínios de nível pago (PLD), utilizando a lista pública de sufixos. Ambos os grafos estão disponíveis para download no AWS S3 e via HTTP, divididos em arquivos gzip compactados, oferecendo uma fonte rica para pesquisadores e engenheiros de dados.

Em comparação com a liberação anterior, destacada na cobertura do CEVIU em 29 de junho de 2026, que mencionava "mais de 6 bilhões de arestas" nos gráficos de web de abril, maio e junho de 2026, a nova versão para julho, agosto e setembro de 2026 apresenta um total combinado de 4,8 bilhões de arestas (2,7 bilhões no nível de host e 2,1 bilhões no nível de domínio). Isso representa uma variação no volume total de conexões capturadas entre os dois períodos, embora o propósito e a metodologia da Common Crawl em fornecer dados pré-processados para análise de links permaneçam os mesmos.

Para profissionais de dados, engenheiros de pesquisa e analistas de segurança, a liberação desses web graphs é uma ferramenta poderosa. Ela permite investigar como os sites se conectam, identificar padrões de linkagem que podem indicar tendências ou comportamentos maliciosos e analisar a resiliência da infraestrutura da web. A capacidade de estudar milhões de hosts e bilhões de arestas sem a necessidade de construir um crawler próprio economiza tempo e recursos significativos, democratizando o acesso a dados de larga escala sobre a internet.