Como a OpenAI escalou o armazenamento do ChatGPT para mais de 1 bilhão de usuários

O ponto central do texto da OpenAI é uma escolha de arquitetura multi-tenant no Habitat, a plataforma de armazenamento que responde em milissegundos a mais de 1 bilhão de usuários em 40 regiões e serve mais de 500 petabytes. A equipe passou por um caminho circular: começou com um único container compartilhado do Azure Cosmos DB, migrou para containers isolados por caso de uso e voltou a um container compartilhado por padrão. Os autores são Jon Lee, Hrachya Hakobyan e Chaomin Yu, e o texto descreve o Habitat, não um projeto aberto (nenhum repositório foi localizado na fonte).

Na primeira fase, o limite de 10 mil RU/s por chave de partição lógica serviu de back pressure. Só que o limite real é aplicado na partição física, compartilhada por várias chaves. Resultado: noisy neighbors derrubando fluxos de login e cadastro por causa de funcionalidades de nicho. Além disso, o throughput provisionado se divide entre as partições físicas, então o limite efetivo por partição encolhe conforme os dados crescem e as partições se dividem. Na segunda fase, containers separados isolaram o problema, mas as equipes esqueciam de fazer o pre-scaling e havia SEVs no dia do lançamento. Na terceira, voltaram ao modelo compartilhado com hot key throttling (limitar primeiro as chaves mais quentes), QoS por prioridade de requisição (cargas offline como bulk inserts são limitadas antes das interativas) e um novo modo serverless feito pela equipe do Azure Cosmos DB. Esse modo deixa cada partição física chegar a 10 mil RU/s e divide partições também por uso de RU, não só por armazenamento. Segundo a OpenAI, não houve incidentes de provisionamento nem de noisy neighbor nos meses seguintes. A maior conta chega a dezenas de petabytes e mais de 20 milhões de QPS.

Em 15 de setembro de 2026, o CEVIU noticiou "Habitat da OpenAI: do Python ao Rust, um salto para bilhões de usuários e 70 milhões de requisições por segundo", que tratava da camada de serviço, com os mesmos mais de 500 petabytes. Agora o foco desce para o banco por baixo: o Azure Cosmos DB e sua estratégia de tenancy. Em 23 de outubro de 2026, o CEVIU já havia publicado "OpenAI detalha como escalou o Azure Cosmos DB no Habitat para atender mais de 1 bilhão de usuários do ChatGPT", sobre o mesmo texto da OpenAI. Esta matéria complementa aquela com o encadeamento das três fases e o contexto da parte anterior da série.

Para quem opera plataformas de dados, a lição é organizacional além de técnica. Isolamento total por container parece seguro, mas empurra planejamento de capacidade para cada time de produto, e a variação de diligência entre eles vira incidente. A leitura aqui é que, com primitivas de throttling e prioridade bem postas, o modelo compartilhado pode custar menos em operação. Vale notar que parte da solução veio de um modo serverless construído sob medida pelo fornecedor, o que nem todo time consegue replicar.