Voltar
Quark: A stack completa de treinamento, ponta a ponta, por US$4.200

Novo modelo de linguagem de 165M de parâmetros treinado por US$ 4.200

Aprofundamento CEVIU

Aprofundamento

O modelo de linguagem Quark, com 165 milhões de parâmetros (140 milhões sem embeddings), foi lançado para validar a pilha de treinamento de uma equipe antes de escalar para modelos maiores. O custo total do treinamento foi de US$ 4.200, usando aproximadamente 1.300 horas de GPUs H-100. Este valor inclui tentativas falhas, geração de dados e todas as avaliações. O Quark suporta até 128.000 tokens e, segundo os desenvolvedores, apresenta a melhor média em benchmarks entre modelos abertos de seu porte, considerando orçamentos de token similares. Uma das versões do modelo, Quark-150M-128K-Zero, aprendeu a responder, pensar e usar ferramentas apenas via aprendizado por reforço (RL), sem a etapa de fine-tuning supervisionado ou destilação.

A arquitetura do Quark é otimizada para inferência: 12 de suas 16 camadas são locais, focando nos últimos 256 tokens, enquanto as outras quatro camadas são globais. Isso reduz o cache de chave e valor para cerca de 0,5 GiB em bf16, uma fração do que seria necessário em um modelo totalmente global. O pré-treinamento envolveu 500 bilhões de tokens, predominantemente texto web em inglês, matemática e código. A confiabilidade do sistema foi testada com sete quedas de nó, mas a recuperação automática garantiu a continuidade do treinamento sem perda de progresso. Os quatro checkpoints do modelo estão disponíveis no Hugging Face sob licença Apache-2.0.

O que mudou

Em 22 de outubro de 2026, o CEVIU noticiou o treinamento de um LLM de 3,8 bilhões de parâmetros por US$ 998, um custo que demonstra a busca por eficiência e otimização no treinamento de modelos. Agora, o Quark, com um custo de US$ 4.200 para 165 milhões de parâmetros, reflete uma abordagem diferente, focada na validação completa de uma pilha de desenvolvimento, da geração de dados ao aprendizado por reforço. Enquanto o modelo anterior focou em eficiência de custo para um modelo maior, o Quark prioriza um teste de ponta a ponta da infraestrutura para modelos futuros, apesar de ser menor e mais caro por parâmetro.

Por que isso importa

Para engenheiros de ML e cientistas de dados, o lançamento do Quark é um manual prático. Ele demonstra a viabilidade de validar uma pilha de treinamento completa com um orçamento acessível, antes de investir em modelos de maior escala. A transparência nos custos (US$ 4.200 para 1.300 horas de H-100) e a metodologia detalhada em cada etapa (arquitetura, pré-treinamento, extensão de contexto e aprendizado por reforço) oferecem um blueprint para otimização de recursos. A capacidade de um modelo pequeno aprender a usar ferramentas via RL, sem fine-tuning supervisionado, abre caminhos para o desenvolvimento de agentes mais autônomos, um avanço significativo para quem trabalha com modelos de linguagem aplicados.

Linha do tempo

  1. Artigo sobre a criação de um LLM do zero, abordando scripts de base-training, fine-tuning e pipelines de dados.

  2. Lançamento do Inkling-Small pela Thinking Machines, um modelo MoE de 276 bilhões de parâmetros com custo computacional reduzido.

  3. Relato de um engenheiro que treinou um LLM de 3,8 bilhões de parâmetros por US$ 998.

  4. Lançamento do Ripple-65B Preview pela Ricursive, modelo open-weight com até 1M de tokens de contexto.

  5. Lançamento oficial do modelo de linguagem Quark, de 165 milhões de parâmetros, treinado por US$ 4.200.

Perguntas frequentes

Qual o custo e os recursos utilizados para treinar o modelo Quark?

O custo total de treinamento do Quark foi de aproximadamente US$ 4.200 em poder computacional. Isso equivale a cerca de 1.300 horas de GPUs H-100, incluindo todas as etapas, desde a geração de dados até o aprendizado por reforço.

Quais as principais características da arquitetura do Quark?

A arquitetura do Quark possui 16 camadas, sendo 12 locais (focadas nos últimos 256 tokens) e 4 globais. Essa configuração permite que o cache de chave e valor seja reduzido para aproximadamente 0,5 GiB em bf16, tornando a inferência mais eficiente em contextos longos de até 128.000 tokens.

O que o Quark-150M-128K-Zero representa para o aprendizado por reforço?

O Quark-150M-128K-Zero é uma versão que aprendeu a responder, pensar e usar ferramentas exclusivamente através de aprendizado por reforço, sem a necessidade de fine-tuning supervisionado ou destilação. Isso demonstra um avanço na capacidade de modelos menores adquirirem habilidades complexas diretamente do RL.

Onde posso encontrar os checkpoints do modelo Quark?

Todos os quatro checkpoints do modelo Quark, incluindo o Quark-150M-128K-Zero, estão disponíveis no Hugging Face. Eles são distribuídos sob a licença Apache-2.0 e vêm com o código de modelagem, tokenizer e um template de chat.

Fontes

Avalie este artigo:
Categoria
CEVIU IA
Publicado
16 de novembro de 2026
Editoria
CEVIU IA

Quer receber mais sobre CEVIU IA?

Conteúdo curado diariamente, direto no seu e-mail.

Conteúdo curado diariamenteDiversas categoriasCancele quando quiser