Dragonfly v2.5.0 chega com aceleração nativa para modelos de IA e injeção automática de P2P no Kubernetes

O lançamento do Dragonfly v2.5.0 traz avanços significativos para a distribuição de dados em larga escala, com foco especial em modelos de IA. A novidade mais impactante é a integração direta com Hugging Face e ModelScope, permitindo que o cliente Dragonfly faça downloads de repositórios de modelos de forma nativa, usando protocolos como hf:// e modelscope://. Isso dispensa o uso de proxies ou scripts de wrapper, acelerando o processo via P2P. Essencialmente, o Dragonfly divide os arquivos em pedaços, distribuindo-os pela rede P2P. O servidor de origem é acessado apenas uma vez pelo primeiro nó (seed peer), e a distribuição para os demais nós começa assim que o primeiro pedaço é baixado. Essa abordagem reduz drasticamente o tráfego de origem, de terabytes para gigabytes, em cenários de clusters com muitos nós, como demonstrado pela redução de 99,5% no tráfego de origem ao baixar modelos de 130 GB em clusters de 200 nós.

A versão também introduz funcionalidades cruciais para ambientes Kubernetes. O dragonfly-injector atua como um Mutating Admission Webhook, injetando automaticamente capacidades P2P nos Pods. Isso significa que contêineres podem se beneficiar da aceleração P2P do Dragonfly sem a necessidade de re-buildar suas imagens, simplificando a adoção em pipelines de CI/CD. Outras melhorias incluem a introdução da ferramenta de linha de comando dfctl para gerenciar tarefas locais no cliente, um sistema robusto de rate limiting para controle de tráfego nos planos de controle e clientes, e uma funcionalidade de blocklist no console do Manager para mitigar a propagação de downloads problemáticos.

A versão v2.5.0 do Dragonfly consolida e expande recursos anunciados anteriormente, como o suporte P2P para repositórios de IA. A principal evolução é a integração nativa de protocolos como hf:// e modelscope://, permitindo downloads diretos de Hugging Face e ModelScope, conforme detalhado em cobertura anterior [[LINK=aceleracao-peer-to-peer-para-distribuicao-de-modelos-de-ia-com-dragonfly|aqui]]. A novidade é a entrega desta funcionalidade de forma direta no cliente Dragonfly, eliminando a necessidade de camadas intermediárias. Adicionalmente, o dragonfly-injector para Kubernetes, que automatiza a injeção de recursos P2P em Pods, representa uma evolução na experiência de uso dentro de orquestradores, dispensando a reconstrução de imagens de contêiner.

Para equipes de engenharia e DevOps, o Dragonfly v2.5.0 representa um avanço na eficiência da distribuição de dados, especialmente em ecossistemas de IA e machine learning que lidam com modelos de grande porte. A integração nativa com Hugging Face e ModelScope reduz significativamente a carga sobre os servidores de origem e acelera os tempos de download em clusters, um fator crítico para o fluxo de trabalho de treinamento e inferência de modelos. A capacidade de injetar recursos P2P em Pods Kubernetes sem alteração nas imagens de contêiner simplifica a adoção de práticas de aceleração em ambientes de produção e CI/CD, alinhando-se com as necessidades de pipelines de entrega contínua mais ágeis e otimizadas.

A introdução do dfctl e as melhorias em rate limiting e bloqueio de downloads também reforçam a robustez e o controle operacional do sistema. Essas funcionalidades são essenciais para a estabilidade e segurança em ambientes de alta demanda, permitindo que engenheiros gerenciem recursos de forma mais granular e reajam rapidamente a eventuais problemas de tráfego ou acesso, minimizando o impacto em serviços críticos.

Repositório oficial: dragonflyoss/dragonfly