Construindo um pipeline de métricas de alto volume com OpenTelemetry e vmagent

O Airbnb migrou um pipeline de métricas massivo baseado em StatsD para OpenTelemetry e Prometheus, empregando uma estratégia de escrita dupla: OTLP para serviços internos, e Prometheus para cargas de trabalho OSS (Open Source Software), mantendo StatsD como um fallback. Uma biblioteca de métricas compartilhada possibilitou uma implementação ampla, mas os serviços de maior volume enfrentaram regressões de memória, GC (Garbage Collection) e heap, que foram mitigadas ao mudar cargas de trabalho selecionadas para delta temporality.

Para o escalonamento, uma camada de agregação vmagent de duas fases foi implementada, escalando para centenas de agregadores e ingerindo mais de 100 milhões de amostras por segundo, demonstrando a capacidade da nova arquitetura de gerenciar grandes volumes de dados de telemetria.