Google apresenta framework de self-training para LLMs melhorarem com dados gerados por eles mesmos

O trabalho parte da on-policy self-distillation, técnica de pós-treinamento que dispensa professores externos mais fortes. O problema, segundo os autores, é que as abordagens existentes ainda dependem de pares pergunta-resposta com gabarito, conjuntos de problemas curados por humanos ou outros sinais supervisionados.

A proposta reformula a técnica como um framework de self-training. O modelo recebe só descrições amplas de tópicos e, a partir delas, sintetiza seu próprio currículo de perguntas e reasoning traces com informação privilegiada, sem prompts nem respostas humanas. Segundo o abstract, a autodestilação sobre essa informação totalmente sintética melhora o modelo em vários domínios e preserva as capacidades em domínios que não receberam self-training. Os resultados citados cobrem benchmarks de linguagem e Visual Question Answering, ou seja, texto e multimodal. O material descreve pesquisa, não produto disponível, e não traz números de ganho, custo computacional nem modelos específicos.

Para quem opera pós-treinamento, a leitura é que o gargalo de dados curados pode diminuir, se o resultado se sustentar fora do paper. Dispensar gabaritos e problemas humanos reduziria custo de anotação. Ainda faltam, no material, métricas, escala e limites, então vale tratar como sinal de direção e testar antes de apostar.