Modo Plano o Tempo Todo, Substrait sobre SQL e o Fim do Papel de Engenheiro de Dados

A IA já é robusta o suficiente para lidar com grande parte da engenharia de dados, especialmente com fluxos de trabalho declarativos e fortes "quality gates". Para gerenciar o não determinismo dos LLMs, deve-se usar o “plan mode”, redefinições de contexto frequentes e testes externos. Formatos como o Substrait podem ser mais adequados que o SQL para agentes expressarem transformações, pois comunicam operações físicas. O papel de engenheiro de dados pode se integrar a uma função de "dados" mais ampla, à medida que a ergonomia dos agentes se torna mais relevante que a humana.