Desenvolvedor Lança Novo Transformer Open-Source com 44% no ARC-AGI-1 e Custo Otimizado

A revelação de um novo modelo transformer de código aberto, que alcança 44% no benchmark ARC-AGI-1, é um marco para a comunidade de IA. Esse resultado não apenas demonstra um avanço significativo em arquiteturas de IA, mas também enfatiza a busca por maior eficiência e menor custo operacional. O modelo utiliza uma arquitetura modernizada, incorporando inovações como SwiGlu no lugar de GELU para ativação e RMSnorm em vez de LayerNorm para normalização. Além disso, escalou o número de camadas de 4 para 8, mantendo a eficiência.

A metodologia para otimização de custo inclui a redução drástica de aumentações de dados e a implementação de flash attention com treinamento varlen, complementada por kernels de flex attention para inferência. A estratégia de embedding é robusta, empregando embeddings RoPE 3D para informações posicionais e um embedding aditivo específico por tarefa para permitir o aprendizado entre diferentes puzzles, uma característica crucial para um benchmark como o ARC-AGI. Adicionalmente, o uso do otimizador NorMuon contribuiu para a estabilidade e convergência do treinamento.

Esta nova versão representa uma evolução clara do trabalho anterior do desenvolvedor, entregando melhor performance, maior velocidade e um custo ainda menor. A principal mudança técnica é a transição de treinamento que incluía tokens de entrada para um modelo estritamente supervisionado, focando apenas nos tokens de saída. Essa alteração, que o desenvolvedor admite não compreender totalmente o porquê, elevou a pontuação de aproximadamente 40% para 44% no ARC-AGI-1.

Outras melhorias arquiteturais incluem a adoção de componentes mais recentes, como SwiGlu e RMSnorm, e um aumento na profundidade do modelo, passando de 4 para 8 camadas. A eficiência também foi aprimorada com a redução de aumentações e a otimização de atenção via flash attention. Houve também um cuidadoso aumento dos dados de treinamento com tarefas não-sobrepostas do ARC-2, o que contribuiu para a performance sem introduzir vazamento de dados, um ponto crítico em benchmarks competitivos.

Este lançamento é um divisor de águas para desenvolvedores de IA. Ele valida que é possível alcançar alta performance em benchmarks complexos como o ARC-AGI com recursos computacionais limitados e um custo extremamente baixo, democratizando o acesso a pesquisas de ponta. A ênfase na sample efficiency, ou eficiência de amostra, é crucial, pois permite que modelos aprendam com menos dados, um gargalo comum em diversos domínios da IA.

A comunidade de código aberto se beneficia diretamente, pois o modelo e seu código-fonte estão disponíveis, incentivando a colaboração, a experimentação e o desenvolvimento de novas aplicações. Além disso, o modelo desafia a percepção de que apenas grandes corporações com imensos orçamentos podem inovar significativamente em IA, mostrando que a criatividade e a otimização técnica de um único desenvolvedor podem competir e, em alguns aspectos, superar abordagens mais custosas.