NanoGPT Slowrun: 10x Mais Eficiência de Dados com Compute Infinito

Pesquisadores alcançaram 10x mais eficiência de dados com o NanoGPT Slowrun , um benchmark para algoritmos de modelagem de linguagem em um cenário de compute infinito, em poucas semanas. A eficiência de dados é crucial porque o poder computacional cresce muito mais rápido que a disponibilidade de dados . A inteligência será eventualmente limitada pelos dados, e não pelo compute . Este resultado de eficiência de dados permite aos pesquisadores melhorar o desempenho dos modelos escalando com poder computacional em vez de escalar com dados.