A Inconstância das Leis de Escala

As leis de escala têm sido um pilar na definição da tecnologia nos últimos cinco anos. Os modelos de linguagem grandes (LLMs), por exemplo, demonstraram retornos consistentes ao escalonar. Contudo, a aplicação dessas 'leis' é surpreendentemente limitada a poucas outras áreas, levantando questões sobre sua universalidade e robustez. Pouco trabalho foi feito para entender sistematicamente, em teoria ou em geral, o que realmente causa as leis de escala ou o que determina sua inclinação e solidez. Este artigo explora a fundo as razões por trás da inconstância dessas leis: quais são suas pré-condições, quando elas deixam de funcionar e por que obtiveram sucesso em alguns campos, mas não em outros. Uma leitura essencial para quem busca compreender os limites e o futuro do escalonamento na tecnologia.