Bigset, da TinyFish, transforma prompts de texto em datasets ao vivo direto da web

O Bigset não é só mais um scraper: é um sistema multiagente que opera como uma fábrica de dados sob demanda. Ele transforma uma frase em português, como 'restaurantes em São Paulo com nota acima de 4,5 no Google e que aceitam Pix', em um CSV com colunas inferidas (nome, endereço, avaliação, forma de pagamento), fontes rastreadas e linhas verificadas por agentes especializados. A arquitetura divide o trabalho: um orquestrador com Qwen + TinyFish Search identifica entidades e escopo, enquanto subagentes paralelos visitam sites reais, renderizam páginas (ainda sem JS pesado, mas com roadmap para integração ao TinyFish Browser), validam dados cruzando fontes e deduplicam resultados. A inferência do esquema usa Claude Sonnet 4.6, não como mero classificador, mas como engenheiro de dados em tempo real, ajustando tipos e relações conforme o conteúdo encontrado. Isso difere radicalmente de ferramentas como Promptwright ou Synthetic Data Generator, que geram dados sintéticos; o Bigset extrai dados reais, atualizáveis, com proveniência explícita.

A infraestrutura da TinyFish sustenta isso: 98,7% de taxa de sucesso em operações paralelas, custo fixo de US$ 0,04 por extração e suporte a 1.000 agentes simultâneos não são benchmarks genéricos, são números que refletem anos de otimização em crawling agêntico para clientes como Amazon e DoorDash. O fato de exigir chaves da OpenRouter e Clerk mostra que o Bigset não tenta reinventar todas as camadas: ele se integra à infraestrutura existente de IA e autenticação, posicionando-se como uma camada de ingestão inteligente entre prompt e tabela, não como um substituto de DuckDB ou OpenSearch, mas como seu fornecedor contínuo de dados frescos.

Dois dias antes do lançamento do Bigset, a Mistral divulgou seu Search Toolkit, um framework para unificar ingestão, retrieval e avaliação em pipelines de IA. Mas o Search Toolkit é focado em dados já estruturados ou vetoriais; o Bigset resolve o elo anterior: como obter esses dados na web, em tempo real, sem pré-definição de URLs ou schemas. Enquanto o SDK Open Data Product (28/05) converte descrições em YAML para catálogos de produtos de dados, o Bigset vai além: gera os próprios dados descritos, com atualização programada e provisão automática. Não é evolução incremental, é uma mudança de nível: de descrever dados para produzi-los ativamente.

Empresas gastam horas por semana coletando dados de concorrentes, preços ou vagas. Com o Bigset, esse processo vira um comando CLI ou uma chamada API, com dados atualizados a cada 30 minutos. Isso muda o ritmo de decisões: dashboards deixam de ser estáticos e passam a refletir o mercado em tempo real. Para desenvolvedores, significa menos código de scraping personalizado e mais foco em análise, especialmente quando combinado com stacks como DuckDB + Astro, citadas na cobertura anterior. E para agentes de IA, o Bigset funciona como uma fonte nativa de contexto atualizado, complementando motores como o OpenSearch Serverless, que agora escala 20x mais rápido, mas ainda depende de dados alimentados externamente.