Como o Spotify construiu o Vedder: um assistente de dados com camada de contexto curada por especialistas

O Vedder não é só mais um assistente de dados com RAG. É uma arquitetura de governança de contexto em tempo real, construída sobre a premissa de que, no Spotify, o problema não é falta de dados, é excesso: 70.000 datasets, 1.4 trilhão de pontos diários, e um histórico de consultas tão ruidoso que apenas 12,5% dos pares pergunta-SQL minerados automaticamente foram aprovados. A solução foi descentralizar a curadoria: cada um dos 177 clusters é mantido por especialistas de domínio (não por engenheiros de ML), que validam não só os dados, mas o significado deles, como 'audiência única' em podcasts versus 'ouvintes únicos' em música, ou como 'impressão' se comporta em publicidade versus recomendação.

Isso conecta diretamente com o Honk, o agente de codificação que já migrou 1.800 pipelines. Enquanto o Honk opera na camada de infraestrutura de dados (transformando código, validando dependências via Backstage + Fleet), o Vedder opera na camada de consumo, e ambos compartilham a mesma disciplina: contexto não é anexado, é construído. O Vedder usa a pontuação de saúde para acionar alertas automáticos quando um dataset começa a sofrer drift de cobertura ou quando a documentação de negócio fica desatualizada; o Honk, por sua vez, usa testes automatizados para garantir que cada pull request gerada por IA preserve a semântica do pipeline original. São dois lados da mesma moeda: confiança em IA não vem de modelos maiores, mas de ciclos fechados de verificação humana + automação.

Em abril, o CEVIU mostrou o Honk migrando pipelines, mas como um agente operacional, focado em infraestrutura. Em junho, o Vedder revela a evolução estratégica: o Spotify agora aplica a mesma lógica de agentes *com supervisão humana contínua* na camada analítica. Não é mais só 'automatizar tarefas', é 'redefinir quem pode acessar dados'. Antes, só engenheiros e analistas com SQL avançado podiam explorar 70.000 datasets. Agora, 25% dos usuários do Vedder nunca escreveram SQL, e estão fazendo perguntas em linguagem natural sobre finanças, audiolivros e ferramentas de criadores, com respostas auditáveis e reprodutíveis. Isso é uma mudança de acesso, não só de interface.

Para equipes de dados no Brasil, o Vedder é um case prático de como escalar self-service sem abrir mão de governança. Ele prova que 'curadoria por especialista' não é um custo, mas um multiplicador: ao priorizar qualidade de contexto sobre volume de dados, o Spotify reduz retrabalho de engenharia de dados e aumenta a velocidade de tomada de decisão em áreas que antes dependiam de relatórios estáticos. Mais ainda: mostra que a pontuação de saúde, que mede drift, cobertura e reprodutibilidade, pode ser um KPI operacional real, não só um conceito teórico de qualidade de dados. Equipes que ainda usam RAG genérico em ambientes complexos devem olhar para o Vedder como um alerta: sem camadas de verificação humana e métricas de contexto, a precisão cai rápido, e o custo de correção sobe mais ainda.