Por mais de uma década, aceitamos que backprop de ponta a ponta é a única forma de treinar redes neurais profundas

Durante mais de uma década, o treinamento de redes neurais profundas dependeu do backpropagation de ponta a ponta, técnica em que a rede inteira precisa ser mantida na memória de uma só vez para calcular os gradientes que ajustam os pesos. Esse requisito é apontado como o principal motivo pelo qual o treinamento de IA vem esbarrando em um limite de recursos, já que modelos cada vez mais profundos exigem volumes proibitivos de memória.

A proposta da Sakana Labs rompe com essa lógica ao dividir a rede em blocos e treinar cada um de forma independente. O ponto central da abordagem foi tratar o forward pass da rede como um modelo de difusão (diffusion), que remove ruído de um sinal de forma progressiva. Com isso, a memória necessária para treinar modelos profundos cai drasticamente.

A barreira de memória virou um dos maiores gargalos da IA atual. Quando a rede inteira precisa estar carregada simultaneamente, o tamanho dos modelos fica atrelado à capacidade do hardware disponível, encarecendo o treinamento e concentrando essa possibilidade em poucos atores com grandes infraestruturas.

Ao permitir que blocos sejam treinados separadamente, a técnica da Sakana Labs aponta para um caminho em que o custo de memória deixa de crescer junto com a profundidade do modelo. Isso pode tornar o treinamento de redes profundas mais acessível e questiona a ideia, consolidada por mais de dez anos, de que o backprop de ponta a ponta seria a única forma viável.

Para quem desenvolve e treina modelos, a mudança altera uma premissa fundamental do fluxo de trabalho. Em vez de tratar a rede como um único objeto que precisa caber inteiro na memória, o treinamento por blocos independentes abre espaço para arquiteturas mais modulares e para o uso mais eficiente do hardware existente.

Na prática, isso pode significar treinar modelos mais profundos sem depender de aumentos proporcionais de memória, reduzindo barreiras de custo e infraestrutura. A reinterpretação do forward pass como um processo de difusão também sugere novas formas de pensar o projeto e a depuração de redes neurais.