Desbloqueando assincronismo em continuous batching

Batching assíncrono pode reduzir tempo ocioso entre ciclos de CPU e GPU, melhorando utilização da GPU para inference em 22%. Usando CUDA streams e eventos, tarefas da CPU preparam o batch N+1 durante computação do batch N na GPU, eliminando lacunas ociosas. Este método resulta em operações de GPU mais eficientes sem alterar kernels ou modelos, aumentando substancialmente a velocidade de geração.