Jane Street Turbina Acesso a Dados com FUSE em OCaml para Armazenamento Interno

A Jane Street, conhecida por sua abordagem técnica no trading de alta frequência, apresentou uma solução para aprimorar o acesso a dados em seu sistema de armazenamento de objetos interno, o Depot. Desenvolvida por Kian Kasad, um engenheiro Linux em estágio de verão, a novidade é um servidor FUSE escrito em OCaml que permite acesso POSIX a esse object store. A implementação visa resolver o gargalo de acesso a dados que produtos de mercado, como Dell Isilons ou VAST Storage, começaram a apresentar, especialmente com o crescimento exponencial dos volumes.

A decisão de criar uma biblioteca FUSE em OCaml, ao invés de usar a tradicional libfuse em C, reflete a cultura da Jane Street de priorizar seu ecossistema OCaml. A libfuse apresentava incompatibilidade com o runtime assíncrono da empresa devido a I/O bloqueante e a necessidade de Foreign Function Interface (FFI). O desenvolvimento envolveu desafios como a pouca documentação do protocolo FUSE e a necessidade de entender o comportamento específico do dispositivo /dev/fuse, que exige a leitura e escrita de uma única mensagem FUSE por chamada de sistema. Além disso, a equipe teve que mapear as semânticas de um object store (Depot) para o modelo POSIX, adaptando, por exemplo, nomes de arquivos longos e a conceituação de "bundles" para diretórios.

Esta iniciativa da Jane Street demonstra como as empresas de ponta estão abordando a crescente demanda por acesso rápido a grandes volumes de dados. A engenharia de sistemas de I/O de alta performance, especialmente em cenários com dados de petabytes, é crucial para a pesquisa e desenvolvimento. A solução da Jane Street, com suas otimizações "zero-copy" e leituras paralelas, oferece um modelo para a superação de gargalos em sistemas de armazenamento.

A escolha e o sucesso de OCaml nesse projeto também ressaltam a viabilidade de linguagens funcionais para infraestrutura de sistemas de missão crítica, desafiando a hegemonia de linguagens como C ou Rust para tarefas de baixo nível. A capacidade de fornecer uma interface POSIX para um object store não-POSIX facilita a integração com ferramentas existentes, melhorando a experiência do desenvolvedor e acelerando fluxos de trabalho.