Prime Intellect lançou Prime Mega MoE, uma extensão de treinamento do kernel Mega MoE fusionado da DeepSeek. O kernel da DeepSeek só executava a passagem direta. Prime Intellect adicionou uma passagem retrógrada rápida e sobreposta. Isso torna o kernel fusado utilizável para treinamento, não apenas inferência. No seu treinador prime-rl, etapas de treinamento completas em modelos Qwen3 MoE rodam até 34% mais rápido. Contra o TorchTitan, o ganho chega a 55%. Para equipes que treinam modelos Mixture-of-Experts (MoE), isso é uma redução direta de horas de GPU. TL;DR Tamanho: Um kernel GPU, não um modelo. Testado em Qwen3-30B-A3B e Qwen3-235B-A22B (128 experts, roteamento top-8). Executa em: GPUs NVIDIA Hopper (blockwise FP8) e Blackwell (MXFP8), BF16 em ambos. Números publicados usam nós 8×H200, de 32 a 128 GPUs. Desempenho: 32% a 34% mais rápido nas etapas completas de treinamento que a linha de base prime-rl. 48% a 55% mais rápido que TorchTitan. Melhor: 3,11x mais rápido na passagem direta de uma camada MoE Qwen3-30B-A3B (12,0 ms para 3,9 ms). Pior: 1,24x na passagem retrógrada de uma camada MoE Qwen3-235B-A22B (30,5 ms para 24,6 ms). O que é Prime Mega MoE? Prime Mega MoE é um kernel MoE sobreposto e fusado para treinamento do Prime Intellect. Ele se baseia no kernel Mega MoE da biblioteca open-source DeepGEMM da DeepSeek. Por que o treinamento MoE é limitado por comunicação? Em um modelo MoE, cada token vai para um pequeno subconjunto de especialistas. Esses especialistas ficam em GPUs diferentes. Assim, cada camada envia tokens, executa cálculo de especialista e devolve resultados. Isso acontece na passagem direta e novamente na passagem retrógrada. Em uma configuração padrão, essas são operações separadas. A GPU classifica tokens e aguarda na camada de transporte. Depois computa, devolve resultados e espera novamente. Esses tempos de espera são GPU inativos. Como funciona o kernel fusado? O Mega MoE da DeepSeek, adicionado ao DeepGEMM em abril de 2026, substitui essa cadeia por uma única chamada de kernel. Ele funde despacho paralelo de especialistas, as 2 camadas lineares de especialistas, SwiGLU e combinação. Enquanto um grupo de tokens está em trânsito, o kernel computa em um grupo que já chegou.
Fonte: MarkTechPost
Publicado em 2026-10-29