NVIDIA lança Nemotron 3.5 Transcribe e Granary v2 para transcrição multilíngue controlada por prompt

O Nemotron 3.5 Transcribe junta transcrição, diarization, tradução e perguntas e respostas sobre áudio em um único checkpoint open-weight. Transcreve 40 idiomas, traduz 31 de ou para o inglês e atribui falantes em 13. Aguenta gravações de até uma hora e rotula até oito falantes. O suporte varia por tarefa, e as perguntas e respostas sobre áudio são treinadas em inglês. Ele serve para áudio gravado, não para streaming ao vivo.

Na arquitetura, o codificador de fala se junta a um modelo de linguagem híbrido Mamba-Transformer com mixture-of-experts. São cerca de 4B de parâmetros ativos de 30B por token. Segundo a NVIDIA, isso o coloca na fronteira de acurácia por parâmetros ativos da Artificial Analysis, com 2,8% de AA-WER, empatado em primeiro entre os open-weight com um modelo de 24B. Sinais do Sortformer chegam ao modelo junto das features acústicas, então ele marca os turnos durante a geração. Em diarization, tem DER de 18,26% em 21 idiomas, à frente do Nemotron 3 Diarization (18,38%). No VoiceArena, marca 32,4% de cpWER entre 14 sistemas. No Open ASR Leaderboard em inglês, são 5,33% de WER médio.

Em uma RTX PRO 6000 Blackwell Server Edition com NVFP4, processa 100 horas de áudio em menos de três minutos (clipes de 30 segundos, alta concorrência). Dá para servir com vLLM ou rodar localmente com NeMo-Speech.cpp.

O Granary v2 cobre 463.062 horas em 48 idiomas (eram 25 no v1) e 16 corpora, com três formas de transcrição por gravação. O número descreve o dataset, não toda a mistura de treino do modelo. No estudo médico com o benchmark da Eka Care, o prompt melhor derrubou o WER de 30,8% para 23,8%. O fine-tuning (cerca de 14 horas de GPU em uma GB300) levou o WER em falantes não vistos de 22,44% para 12,17%, queda relativa de 45,8%. No LibriSpeech test-clean, o WER subiu de 1,54% para 1,69%. A NVIDIA recomenda conferir nomes, trocas de falante e respostas com a gravação.

A cobertura anterior do CEVIU mostra a NVIDIA expandindo a família Nemotron 3.5. Em 12 de agosto de 2026, o CEVIU noticiou "NVIDIA Apresenta Nemotron 3.5 Lightning: Um MoE de 30B Otimizado para Agentes de IA", modelo com 30B de parâmetros totais e 3B ativos. O Transcribe também tem 30B totais, mas cerca de 4B ativos, e agora aplica a abordagem a fala gravada. Em 5 de agosto de 2026, o CEVIU noticiou o NemotronLabs VoiceChat 11B, voltado a voz full-duplex em tempo real. O Transcribe cobre o outro lado, o áudio gravado, sem streaming.

Para quem opera pipelines de transcrição, a leitura é que um único checkpoint aberto pode substituir vários componentes (ASR, diarization, tradução). Isso tende a simplificar a infraestrutura e a rodar em uma só GPU. Os rankings são da NVIDIA e dos leaderboards citados, então vale testar com o seu áudio. Para domínios como saúde, o estudo sugere que prompt primeiro e fine-tuning depois é um caminho barato. Mas o ganho veio em um benchmark específico, com ressalvas sobre marcas de medicamentos.