Uma Lição Amarga para a Filtragem de Dados em IA

Novos estudos de escalonamento revelam que não usar filtragem de dados pode ser ideal para o pré-treinamento de modelos grandes em cenários de alto compute e escassez de dados. Modelos com muitos parâmetros não apenas toleram, mas se beneficiam da inclusão de dados de baixa qualidade e dados distratores. Ao contrário das crenças predominantes, filtrar dados de baixa qualidade pode não ser necessário quando há amplos recursos computacionais.