Como alcançar GPUs verdadeiramente serverless

Cargas de trabalho de inference são mais variáveis e imprevisíveis que as de treinamento, tornando-se candidatas naturais para computação serverless. Porém, serverless só funciona se novas réplicas puderem ser criadas tão rapidamente quanto a demanda muda. Este artigo examina como a Modal reduziu o tempo de scaling de servidores de inference de IA de múltiplos quilossegundos para apenas dezenas de segundos.