Modelos Open Mixture-of-Experts (MoE) compartilham uma ideia, mas discordam em quase todos os detalhes de roteamento. A contagem de especialistas varia de 8 a 384. O top‑k varia de 1 a 8. Alguns modelos mantêm um especialista compartilhado sempre ativo; outros o descartam.
TL;DR: 10 modelos, do Qwen3.6‑35B‑A3B (35B total, 3B ativo) ao DeepSeek‑V4‑Pro (1,6T total, 49B ativo). Executa em: gpt‑oss‑120b cabe em uma GPU de 80GB com MXFP4; DeepSeek‑V4‑Pro e Kimi K2 precisam de paralelismo multi‑GPU. Desempenho: a esparsidade roteada varia de 4× em Mixtral (8 especialistas, top‑2) a 128× em Llama 4 Maverick (128, top‑1). Melhor: Kimi K2 encontrou que esparsidade 48 exigiu 1,69× menos FLOPs que esparsidade 8 com perda de validação equivalente. Pior: Llama 4 Maverick e gpt‑oss não publicam seu método de gating ou balanceamento em config.json. Resumo: O melhor é que os configs tornam o roteamento totalmente auditable. O pior é que nomes como "17B ativo" ocultam roteadores muito diferentes.
Como os modelos MoE abertos roteiam tokens? Todos usam roteamento por escolha de token: cada token seleciona seus próprios especialistas. Eles diferem em 5 controles: contagem de especialistas, especialistas por token, especialistas compartilhados, função de pontuação e método de balanceamento de carga.
Tabela de comparação de roteamento MoE (novembro de 2026):
| Modelo | Parâmetros totais / ativos | Especialistas roteados | Top‑k | Especialistas compartilhados | Função de pontuação | Balanceamento de carga |
|---|---|---|---|---|---|---|
| Mixtral 8x7B | 47B / 13B | 8 | 2 | 0 | Softmax sobre top‑k, perda auxiliar, coeficiente 0,02 (config) | Aux loss, coef 0,02 (config) |
| gpt‑oss‑120b | 117B / 5,1B | 128 | 4 | 0 | Softmax sobre selecionado | Não divulgado |
| Qwen3‑235B‑A22B | 235B / 22B | 128 | 8 | 0 | Softmax, top‑k normalizado | Perda auxiliar de lote global, coef 0,001 |
| Qwen3.6‑35B‑A3B | 35B / 3B | 256 | 8 | 1 | Não divulgado | Perda auxiliar, coef 0,001 (config) |
| Llama 4 Maverick | 400B / 17B | 128 | 1 | 1 | Não divulgado | Não divulgado |
| DeepSeek‑V3 | 671B / 37B | 256 | 8 | 1 | Sigmoid | Perda auxiliar livre, bias (no aux_tc) |
| DeepSeek‑V4‑Pro | 1,6T / 49B | 384 | 6 | 1 | sqrtsoftplus | noaux_tc; roteamento por hash em 3 camadas |
| DeepSeek‑V4‑Flash | 284B / 13B | 256 | 6 | 1 | sqrtsoftplus | noaux_tc; roteamento por hash em 3 camadas |
| Kimi K2 | 1,04T / 32B | 384 | 8 | 1 | Sigmoid | noaux_tc + aux de sequência |
Fonte: MarkTechPost
Publicado em 2026-11-08