Como a Inferência Low-Bit Viabiliza a Eficiência da IA

A Dropbox aplicou low-bit inference por meio de quantização para reduzir a precisão de pesos e ativações para os recursos multimodais do Dash, selecionando estratégias (quantização apenas de pesos vs. de ativação) conforme o tipo de workload. A equipe utilizou ajustes pós-treinamento (especialmente para MXFP4) e custom kernels para alcançar baixa latência, alta confiabilidade e economia de custos, atendendo a restrições do mundo real.