Como funciona o armazenamento colunar em disco do VictoriaLogs

O VictoriaLogs, da VictoriaMetrics, adota um modelo de armazenamento colunar em disco que revoluciona a forma como os logs são tratados. Em vez de armazenar cada log como uma linha completa, os dados são divididos por campo, onde cada campo ocupa sua própria coluna. Essa organização permite que consultas leiam apenas os dados absolutamente necessários, ignorando colunas irrelevantes. Por exemplo, ao buscar um campo específico, o sistema acessa somente a coluna correspondente, otimizando significativamente o tempo de resposta e o uso de I/O em disco.

Essa abordagem colunar, combinada com particionamento diário e agrupamento por stream (definido por campos de baixa cardinalidade como pod ou container), reduz custos de retenção e restringe o escopo das buscas. A arquitetura divide os dados em 'partes' imutáveis, que podem ser pequenas (em memória ou recém-escritas no disco) ou grandes. Partes menores são agrupadas para otimizar o espaço e o desempenho, resultando em um modelo eficiente para ingestão e consulta de grandes volumes de logs.

A notícia atual detalha como o VictoriaLogs armazena logs em disco usando um layout colunar. O artigo original já explicava a fundo este conceito, mostrando a organização dos dados em partes, blocos e como cada campo é armazenado separadamente em colunas para otimizar consultas. Não há uma evolução explícita a ser destacada entre a notícia e o material de fundo, pois ambos abordam o mesmo nível de detalhe técnico sobre o armazenamento colunar.

Para equipes de DevOps e engenharia de plataformas, o modelo de armazenamento do VictoriaLogs significa otimização de custos e desempenho em sistemas de observabilidade. Ao reduzir a quantidade de dados lidos do disco, esse sistema permite consultas mais rápidas e eficientes, mesmo em cenários com alto volume de logs. A arquitetura colunar é um diferencial para quem precisa analisar dados de sistemas distribuídos, containers e microsserviços, onde a velocidade e o custo de armazenamento são críticos.

Entender como os dados são particionados por dia e agrupados por stream, além da organização em partes e blocos, permite aos operadores ajustar parâmetros de retenção e configuração para maximizar a eficiência. Isso impacta diretamente a capacidade de diagnosticar problemas rapidamente e manter a confiabilidade dos sistemas em observância.

Repositório oficial: VictoriaMetrics/VictoriaMetrics