O que é engenharia de inferência? Um mergulho profundo

Inferência é quando um modelo recebe uma entrada e gera uma saída, token por token. Com o avanço dos modelos abertos, a engenharia de inferência está se tornando mais difundida. Modelos fechados limitam essa engenharia aos engenheiros de IA que os desenvolvem, enquanto modelos abertos permitem que qualquer pessoa experimente. Este artigo discute o que é engenharia de inferência e apresenta algumas abordagens interessantes nessa área.