Dois Truques Distintos para Inferência Rápida de LLMs

Anthropic e OpenAI revelaram novos "modos rápidos" para inference de LLM, oferecendo aprimoramentos de desempenho distintos. A OpenAI alcança velocidades de mais de 1.000 tokens por segundo usando chips Cerebras, mas isso se baseia em um modelo menos capaz. Por outro lado, o modo rápido da Anthropic suporta modelos reais com até 2.5x mais velocidade, através de inference com low-batch-size. ️ Apesar do feito técnico da OpenAI, a utilidade de uma inference mais rápida, porém menos capaz, permanece em debate, com foco maior na exploração do potencial dos chips Cerebras pela OpenAI.