A NVIDIA lançou o Nemotron 3.5 Transcribe, um LLM de voz com pesos abertos projetado para transcrição. Um modelo suporta 40 idiomas e gravações de até 1 hora. Uma instrução de texto escolhe o estilo de saída para cada requisição. As opções incluem verbatim, forma escrita, atribuição a falantes, contextual e saída traduzida. Para desenvolvedores, ele pode substituir ferramentas separadas de ASR, diarização e alinhamento. TL;DR Tamanho: 34 B total e cerca de 4,3 B de parâmetros ativos; contexto de 65 536 tokens; áudio de até 1 hora. Executa em: 1 x H100 80 GB em BF16. Checkpoints FP8 (cerca de 35 GB) e NVFP4 (cerca de 21 GB) estão disponíveis; NVFP4 roda em um RTX 5090. Arquivos GGUF visam NeMo‑Speech.cpp. Desempenho: melhor modelo de pesos abertos nos leaderboards English e multilingual Open ASR; APIs comerciais ainda lideram. Melhor: 4,71 % de WER médio nos 9 conjuntos públicos de English Open ASR (próximo modelo aberto: 4,94 %). Pior: 34,95 % cpCER em reuniões far‑field em mandarim no AliMeeting. Conclusão: ponto forte – 1 modelo aberto cobre transcrições, rótulos de falantes, timestamps e tradução. ponto fraco – apenas offline, com baixa acurácia em reuniões em mandarim. O que é o Nemotron 3.5 Transcribe? Nemotron 3.5 Transcribe é um speech‑augmented language model (SALM) da NVIDIA que converte áudio e instruções em texto. Um codificador de áudio gera embeddings que são alimentados em um decodificador LLM, tornando a transcrição promptável. O relatório técnico da NVIDIA argumenta que não existe uma única transcrição correta. Números, preenchimentos e termos de domínio dependem de quem lê a saída. A NVIDIA posiciona o modelo como especialista em transcrição, não como assistente de uso geral. Como funciona a arquitetura? Ela possui três partes: Codificador de Expert Parallel: um codificador ASR Transformer treinável de 0,6 B funciona ao lado de um modelo congelado de Diarização Nemotron 3. O diarizador rastreia até 8 falantes. Sua atividade de falante é adicionada aos recursos de ASR a cada 80 ms. Assim, o LLM vê quem falou e quando, sem mudanças na arquitetura. Backbone LLM: Nemotron 3.5 Lightning 30B‑A3B, um híbrido Mamba‑Transformer MoE. Ele ha
Fonte: MarkTechPost
Publicado em 2026-10-29