Vencendo o Não-Determinismo na Inference de LLMs

A reprodutibilidade é a base do progresso científico, mas obter resultados reproduzíveis de modelos de linguagem grandes (LLMs) é notavelmente difícil. APIs de LLM não são determinísticas na prática, mesmo ajustando a temperatura para 0. Além disso, a amostragem não é determinística mesmo ao executar a inference em hardware próprio com uma biblioteca de inference de código aberto (OSS).

Este artigo investiga as causas-raiz do não-determinismo para fornecer à comunidade um entendimento sólido sobre como resolvê-lo em seus sistemas de referência.