Raro, Não Aleatório: Usando Eficiência de Tokens para Varredura de Segredos

Tradicionalmente, o Gitleaks construiu seu scanner de segredos utilizando uma combinação de regexes, entropia e filtros baseados em regras. Esta publicação detalha como a equipe adaptou o scanner para empregar a eficiência de tokens — uma técnica que avalia a frequência com que um texto surge nos dados de treinamento de um modelo, dividindo-o em tokens — em vez da entropia, visando impulsionar o desempenho. Com este método e alguns ajustes adicionais, o autor desenvolveu uma ferramenta chamada BetterLeaks, que supera outros scanners, como o CredSweeper, na detecção de segredos no dataset CredData.