A estratégia de identidade para workloads Spark em nuvem gerenciada

A Netflix detalhou como gerencia a identidade de cargas de trabalho Spark em ambientes de computação gerenciada, como o Amazon EMR. O desafio é que o provedor de nuvem fornece apenas uma identidade de infraestrutura (um IAM role da AWS, por exemplo). No entanto, a Netflix precisa de uma identidade interna para que esses jobs Spark acessem dados e serviços em seu ecossistema, que usam um PKI privado, o Metatron.

A solução envolve uma troca de identidade baseada em atestação. Cada Projeto de Dados (a unidade de posse de dados na Netflix) tem um mapeamento um a um para um IAM role dedicado. O processo de um job Spark se identifica usando seu IAM role da AWS para gerar uma prova de posse (um pre-signed URL do AWS STS). Simultaneamente, um plano de controle assina um payload de metadados que descreve a carga de trabalho. O serviço de identidade da Netflix (Metatron) corrobora essas duas provas. Se ambas forem válidas e consistentes, ele emite um certificado X.509 de curta duração, conferindo ao job a identidade interna desejada. Para Spark, o driver obtém o certificado e o distribui aos executors via RPC interno, otimizando a escala. Certificados de curta duração exigem reatestação periódica para jobs de longa duração.

A notícia atual traz a concretização de conceitos que o CEVIU já cobriu. Em 14 de maio de 2026, destacamos os Data Projects da Netflix como uma nova forma de gerenciar ativos de dados. Agora, vemos como esses Data Projects recebem uma identidade técnica, com cada um mapeado a um IAM role específico para jobs Spark, garantindo controle de acesso e auditoria consistentes.

Além disso, em 22 de abril de 2026, abordamos a tendência de federação de identidade de workload e o uso de credenciais de curta duração. A abordagem da Netflix para Spark é um exemplo prático dessa tendência. Ela mostra como uma identidade de nuvem é trocada por uma identidade interna confiável através de um processo de atestação. Isso alinha-se com a busca por maior segurança e menos proliferação de credenciais estáticas.

Essa estratégia da Netflix para gerenciar identidades em workloads Spark é um padrão robusto para qualquer organização que opera em nuvem gerenciada. Ela desvincula a autorização do provedor de nuvem da confiança da aplicação, garantindo que mesmo em infraestruturas onde o controle é limitado, a aplicação ainda possua uma identidade interna verificável e auditável. Isso é crucial para a segurança, governança e conformidade, especialmente em ambientes complexos com milhares de cargas de trabalho e acessos a dados sensíveis.

A abordagem mitiga riscos de acesso indevido. O uso de certificados de curta duração e a atestação dupla garantem que nenhuma parte, nem mesmo a carga de trabalho, precise ser totalmente confiável. Isso permite uma gestão de acesso mais precisa e uma superfície de ataque menor. O modelo também é replicável para outras cargas de trabalho e ambientes, tornando-o um aprendizado valioso para a engenharia de dados em larga escala.