Rastreadores de IA sobrecarregam tráfego do kernel.org e exigem medidas drásticas

A sobrecarga do kernel.org por rastreadores de IA representa um desafio significativo para a engenharia de plataformas e a confiabilidade de sistemas. Dados recentes mostram que 98% do tráfego para git.kernel.org vem de robôs de IA, gerando cerca de seis milhões de requisições diárias. Essa carga consome até dezesseis núcleos de CPU em cinco nós distribuídos geograficamente, apenas para renderizar commits em HTML. O que espanta é a ineficiência: modelos de IA, buscando dados “limpos” e sem influência de outras IAs para treinamento, optam por raspar HTML commit a commit, quando a maneira mais eficaz seria simplesmente clonar os repositórios Git, que já estão publicamente disponíveis.

Este cenário ecoa o que o CEVIU News noticiou em abril de 2026, na matéria Repensando o CDN Cache para a Era da IA. Lá, discutimos como o tráfego de alto volume, diverso e ineficiente gerado por rastreadores de IA aumenta o número de cache misses em CDNs, degradando o desempenho e sobrecarregando os servidores de origem. No caso do kernel.org, a ineficiência não só consome ciclos de CPU, mas também revela a teimosia dos agentes de IA em usar métodos subótimos, forçando os mantenedores a adotar medidas drásticas para manter a estabilidade da plataforma.

A abordagem do kernel.org para mitigar o tráfego de IA tem evoluído na tentativa de se adaptar aos robôs. Inicialmente, a implementação do Anubis, um sistema de prova de trabalho (proof-of-work) que exigia a resolução de um desafio matemático, foi extremamente eficaz. Por alguns meses, os robôs desistiram e buscaram alvos mais fáceis. Contudo, em uma escalada contínua, os rastreadores de IA se adaptaram, primeiro resolvendo o desafio de dificuldade 4 e, em seguida, o de dificuldade 5, que já causa lentidão e aquecimento em dispositivos móveis de usuários legítimos.

Agora, 33% dos robôs conseguem superar o desafio do Anubis, indicando que o custo computacional para resolver a prova de trabalho é menor do que o valor que eles atribuem aos dados do kernel.org. Essa persistência forçou os administradores a uma nova fase: desativar recursos anônimos de alto custo e restringir o número de URLs rastreáveis. É uma mudança de estratégia de defesa reativa para uma redução proativa da superfície de ataque, sacrificando funcionalidade em prol da estabilidade.

A sobrecarga do kernel.org não é um problema isolado, mas um sintoma de um desafio maior que a explosão da IA impõe à infraestrutura digital aberta. O impacto direto é na confiabilidade e sustentabilidade de projetos de código aberto críticos, que dependem de recursos limitados e da colaboração. A necessidade de dedicar até 20% da capacidade de CPU para servir robôs de IA, em vez de usuários legítimos ou desenvolvimento, representa um dreno significativo de recursos valiosos.

Este cenário também estabelece um precedente preocupante para outros projetos e repositórios de dados que são valiosos para o treinamento de IA. A dificuldade em diferenciar o tráfego legítimo do automatizado, a adaptação rápida dos robôs às contramedidas e a relutância em usar métodos eficientes de acesso aos dados forçam os mantenedores a considerarem medidas mais restritivas. Isso pode levar a um dilema entre a abertura intrínseca do código aberto e a necessidade de proteger a infraestrutura fundamental da internet.