Habitat da OpenAI: do Python ao Rust, um salto para bilhões de usuários e 70 milhões de requisições por segundo

A plataforma Habitat, peça-chave para os serviços de IA da OpenAI, começou como uma simples biblioteca Python em meados de 2024, interagindo com o ChatGPT. Ela abstraía complexidades de banco de dados, como schema lookup e roteamento, para os desenvolvedores de produto. O rápido sucesso da OpenAI, contudo, trouxe desafios de escala. Mudanças na biblioteca, como a introdução de lógica de roteamento para distribuição regional no Azure Cosmos DB, exigiam coordenação complexa entre dezenas de serviços, levando dias e introduzindo fragilidade operacional.

Para contornar a ineficiência e a dificuldade de coordenação, a OpenAI transformou a biblioteca em um serviço centralizado em meados de 2025. Embora soubessem que Python, com sua limitação pelo GIL (Global Interpreter Lock), traria sobrecarga de rede, CPU e memória para um serviço de alta vazão, a decisão priorizou agilidade e estabilidade da plataforma. O grande desafio com Python em escala foi gerenciar a latência de cauda (tail latencies), especialmente em operações CPU-bound como roteamento, compressão e criptografia, onde o agendamento do asyncio podia causar atrasos significativos.

O problema foi abordado com otimizações no agendamento de tarefas assíncronas e na configuração de feature flags, que causavam picos de consumo de CPU por parsing de JSON. Para lidar com a carga, a solução foi escalar massivamente o número de processos Python, cada um servindo poucas requisições concorrentes. A OpenAI também enfrentou falhas metaestáveis em pool de conexões por reuso LIFO e o problema do “thundering herd” (sobrecarga de dependências por grande número de conexões). A adoção de Istio e Envoy foi crucial para balanceamento de carga inteligente, pool de conexões otimizado (com HTTP/2) e implementação de rate limits e circuit breakers. A migração do serviço para Rust rendeu ganhos substanciais de performance, um passo fundamental para suportar um bilhão de usuários.

O Habitat passou por uma evolução técnica notável desde sua concepção. Lançado no DevDay 2023 como uma biblioteca Python simples para acesso a dados, o sistema evoluiu para um serviço Python independente em meados de 2025. Esta transição centralizou a lógica de armazenamento, facilitando implantações e melhorias. A grande mudança, agora anunciada, é a reescrita desse serviço em Rust, abandonando as limitações do Python para atingir uma eficiência de CPU 6x maior e uma economia de memória 15x superior.

A OpenAI apostou que seus modelos de IA facilitariam a migração futura, e isso se confirmou com a adoção de Rust. O que era uma aposta estratégica para lidar com dívida técnica via IA, virou realidade. Essa evolução permitiu ao Habitat escalar de um projeto inicial para suportar bilhões de usuários e 70 milhões de requisições por segundo, demonstrando uma maturidade na engenharia de plataformas da OpenAI para lidar com crescimento exponencial.

A trajetória do Habitat da OpenAI é um case de estudo sobre engenharia de plataformas e resiliência em escala extrema. Ela mostra como empresas de ponta enfrentam e superam desafios comuns de infraestrutura, como gargalos de performance de linguagens de programação, problemas de agendamento de concorrência e falhas em pools de conexão. A migração de Python para Rust sublinha a importância de escolher a ferramenta certa para cargas de trabalho de alta performance, especialmente em sistemas distribuídos que sustentam produtos de IA.

A forma como a OpenAI abordou a dívida técnica, priorizando agilidade com Python no curto prazo e planejando uma reescrita mais eficiente em Rust, é uma lição valiosa. Além disso, a dependência em ferramentas como Istio e Envoy para gerenciamento de tráfego complexo e a manutenção de uma API restrita para previsibilidade operacional são exemplos de boas práticas de DevOps em ação. Este avanço garante que os produtos de IA da OpenAI, usados por bilhões, continuem rápidos e confiáveis, um pilar para o futuro da inteligência artificial.