Como a Autopesquisa vai mudar a adoção de Small Language Models

Autopesquisa é uma ferramenta que ingere um script de treinamento e uma métrica, então edita o código, executa experimentos, verifica se a métrica melhorou, mantém ou descarta as alterações, e repete o processo. Isso permite que pesquisadores otimizem modelos da noite para o dia, mesmo sem experiência em machine learning. Andrej Karpathy, por exemplo, utilizou-a para extrair 11% mais velocidade do seu treinamento do GPT-2. De forma notável, o CEO da Shopify usou a ferramenta para treinar um modelo de 0.8B que superou o desempenho de seu modelo anterior de 1.6B durante a noite.