Atlassian substitui Kinesis por Kafka para orquestrar 145 bilhões de eventos diários

A Atlassian realizou uma migração estratégica, trocando o Amazon Kinesis pelo Apache Kafka, implementado via AWS Managed Streaming for Apache Kafka (MSK), para gerenciar um volume massivo de 145 bilhões de eventos diários. Essa mudança foi impulsionada pela necessidade de escalar o processamento de dados que saltou de 22 bilhões para 150 bilhões de eventos. O Kinesis, antes suficiente, apresentava gargalos em retenção de dados por vários dias, gerenciamento de múltiplos grupos de consumidores e compatibilidade multi-cloud, características que o Kafka oferece de forma mais robusta.

A adoção do Kafka Tiered Storage foi central para a nova arquitetura, permitindo à Atlassian otimizar custos ao desacoplar armazenamento e computação. Dados "quentes" permanecem em volumes de alta performance (EBS), enquanto dados históricos são movidos para o S3. Apesar de otimizar gastos, a Atlassian enfrentou e superou diversos desafios técnicos operando em escala, incluindo limites de rede dos brokers, taxas de requisição do S3, gargalos no offload do Tiered Storage e dependências do control-plane do serviço gerenciado. A empresa implementou soluções como planejamento de capacidade baseado em gargalos por broker, over-provisioning de rede, operações controladas de Tiered Storage, rate limiting na ingestão de dados, quotas de clientes Kafka e sharding para garantir resiliência e escalabilidade.

A migração da Atlassian do Amazon Kinesis para o Apache Kafka gerenciado no AWS MSK representa uma evolução crucial em sua estratégia de dados. Anteriormente, o Kinesis atendia bem a até 20-30 bilhões de eventos, sendo um serviço de "zero ops" com boa performance. Contudo, ao escalar para mais de 100 bilhões de eventos, o Kinesis revelou limitações em custo para retenção de dados de vários dias e escalabilidade de múltiplos grupos de consumidores.

A transição para o Kafka trouxe a capacidade de lidar com um volume de dados muito maior e a flexibilidade necessária, especialmente com a introdução do Kafka Tiered Storage. Essa funcionalidade permite uma gestão de custos mais eficiente ao armazenar dados frios no S3, algo que não era intrínseco ou economicamente viável com a abordagem anterior no Kinesis para grandes volumes de retenção. Essa mudança não apenas atualizou a tecnologia, mas redefiniu a arquitetura de armazenamento e processamento de eventos da empresa.

A experiência da Atlassian é um case de sucesso crucial para qualquer empresa que lide com dados em grande escala, especialmente no cenário de engenharia de dados. A migração e as soluções implementadas fornecem um roteiro detalhado sobre como arquitetar sistemas de streaming de eventos para bilhões de transações diárias, mantendo a resiliência e otimizando custos. Demonstra a importância de entender os limites dos serviços gerenciados na nuvem e como superá-los com design inteligente e práticas operacionais rigorosas.

Para engenheiros e arquitetos de dados, o aprendizado da Atlassian sublinha que a escalabilidade exige mais do que apenas a escolha de uma tecnologia robusta como Kafka. É preciso um planejamento meticuloso de capacidade, estratégias de mitigação de falhas (como sharding e failover) e mecanismos de proteção (como quotas e rate limiting) para garantir que a infraestrutura de dados possa suportar o crescimento explosivo dos negócios. Essa abordagem não apenas garante a continuidade dos serviços, mas também mantém a vantagem competitiva em um ambiente de dados cada vez mais complexo.