NVIDIA AI Lança Nemotron-Labs-Sigma, um Modelo de Linguagem de Difusão Contínua com 14 Checkpoints…

A NVIDIA lançou o Nemotron-Labs-Sigma, uma coleção de 14 checkpoints abertos nas escalas de 3B e 8B. Nemotron-Labs-Sigma é uma família de modelos de linguagem de difusão contínua que remove o ruído do texto em um espaço de embedding de 16 dimensões. A maioria dos LLMs de difusão, como LLaDA e Dream, trabalham com tokens discretos. O Sigma, em vez disso, opera em um espaço latente suave. A equipe da NVIDIA afirma que isso torna a destilação de poucos passos e a direção de trajetória práticas para texto. TL;DR Tamanho: parâmetros de 3B e 8B, 14 checkpoints. O contexto é de 4.096 tokens (8.192 para Sigma-8B-instruct). Executa em: 1 GPU NVIDIA em bfloat16 (Ampere, Lovelace, Hopper, Blackwell). Cerca de 120 a 140 tokens/s em 1 H100. Sem suporte a CPU, sem variantes quantizadas listadas. Desempenho: O Sigma-8B base obtém uma média de 71,16 no conjunto de 6 tarefas da NVIDIA, à frente do NLD-8B (70,22). Melhor: 91,96 no GSM8K (Sigma-8B-instruct, 256 passos DDPM). Pior: 17,00 no AIME25 (mesmo modelo e amostrador). Conclusão: Melhor: o 8B destilado em 8 passos mantém uma média de 70,34. Pior: a média de instrução (59,14) fica atrás do NLD-8B (59,92). O que é o Nemotron-Labs-Sigma? A equipe de pesquisa chama o Sigma de a primeira família em larga escala de modelos de linguagem de difusão contínua. A coleção possui 4 tipos de variantes em cada tamanho: Base: Sigma-3B e Sigma-8B. Instrução: Sigma-3B-instruct e Sigma-8B-instruct. Destilado em poucos passos: distill-3B e distill-8B em NFE 2, 4, 8 e 16 (8 checkpoints). Auto-especulativo: distill-spec-3B e distill-spec-8B. Como funciona a difusão contínua para a linguagem? Cada token mapeia para um ponto em um espaço de embedding de 16 dimensões aprendido. O treinamento adiciona ruído gaussiano a esses embeddings e ensina o modelo a removê-lo. A geometria do embedding é aprendida em conjunto com o removedor de ruído (denoiser). A geração é executada em blocos. Cada bloco com ruído removido é confirmado em um cache KV antes que o próximo comece. Os blocos padrão são de 64 tokens. O backbone é um Transformer somente decodificador no estilo Ministral com atenção de consulta agrupada (grouped-query attention), SwiGLU e embeddings rotacionais. O treinamento começa com um aquecimento autorregressivo de cerca de 1 trilhão de tokens.

Fonte: MarkTechPost

Publicado em 2026-11-20

Notícias relacionadas

Continue explorando