O que os benchmarks de agentes de dados nos dizem e o que não dizem

O Conselho de IA mostrou que a divisão entre dados e IA está diminuindo, com a maioria dos fornecedores se posicionando como camadas de infraestrutura de IA para retrieval de contexto, orquestração ou inference. Novos sistemas, como o LanceDB, estão sendo construídos nativamente para workloads de LLM e multimodais. A avaliação de desempenho também está mudando: testes com dbt Semantic Layer, ADE-bench e simulações de 90 dias indicam que agentes operam melhor em tarefas bem especificadas e com contexto rico. Eles melhoram ainda mais quando há acesso a contexto cross-system e stateful de plataformas como GitHub, Slack, Notion e dbt. A próxima barreira significativa é a eficiência de token e compute.