Todo modelo Mixture‑of‑Experts (MoE) repete uma decisão para cada token: quais especialistas devem processá‑lo. Essa decisão pertence ao roteador. As estratégias de roteamento MoE moldam qualidade, balanceamento de carga e custo de serviço em todos os principais modelos abertos. Este guia explica as 7 estratégias de roteamento usadas em produção e os modelos que as utilizam.
TL;DR
Tamanho: Roteadores escolhem entre 8 especialistas (Mixtral) e 384 (DeepSeek‑V4‑Pro), ativando de 1 a 8 por token.
Execução: O custo de roteamento aparece no paralelismo de especialistas multi‑GPU, onde cada escolha gera tráfego de rede all‑to‑all.
Desempenho: Pontuação sigmoide com balanceamento de viés sem perda auxiliar é a receita dominante de 2026 para os modelos MoE de ponta.
Melhor: Balanceamento sem perda reduz MaxVio de 0,72 para 0,04 em 1B, com perplexidade menor.
Pior: Escolha de especialista vaza tokens futuros em modelos causais; um teste mostrou queda de perda anormal de aproximadamente 10%.
Conclusão: Melhor coisa: balanceamento baseado em viés não adiciona gradientes interferentes. Pior coisa: nenhum roteador elimina a necessidade de correções de carga em tempo de serviço.
O que é roteamento MoE?
Roteamento MoE é o mecanismo que envia cada token para um pequeno subconjunto de redes especialistas. Um roteador pontua cada especialista, mantém os principais candidatos e pondera suas saídas. Apenas os especialistas selecionados são executados. O Mixtral 8x7B, por exemplo, dá a cada token acesso a 47 B de parâmetros, mas utiliza apenas 13 B de parâmetros ativos.
Os 7 estratégias de roteamento MoE usadas em produção
1. Softmax top‑k escolha de token
Cada token pontua todos os especialistas com uma camada linear e mantém os k maiores. Um softmax sobre esses k escores define os pesos de mistura. O Mixtral escolhe 2 de 8 especialistas. gpt‑oss‑120b escolhe 4 de 128. Qwen3‑235B‑A22B escolhe 8 de 128. Uma perda auxiliar costuma manter a carga dos especialistas equilibrada.
Usado por: Mixtral, gpt‑oss, Qwen3.
2. Top‑1 switch routing com fator de capacidade
O Switch Transformer mostrou que roteamento de cada token para 1 especialista preserva qualidade e reduz o custo computacional do roteador. Cada especialista recebe um buffer fixo: tokens por lote dividido pelo número de especialistas, multiplicado por um fator de capacidade.
...
Fonte: MarkTechPost
Publicado em 2026-11-08