A equipe Qwen da Alibaba lançou o Qwen4-Max, o primeiro modelo de sua geração Qwen4. O Qwen4-Max é um modelo MoE esparso proprietário com uma espinha dorsal de 2,4 trilhões de parâmetros e 71 bilhões de parâmetros ativos por token. Ele aceita texto, imagens e vídeo, e suporta uma janela de contexto de 1 milhão de tokens. A Alibaba também reduziu os preços da API e relata uma queda de 62% no custo médio por tarefa. Resumo do Tamanho: 2,4 trilhões de parâmetros de espinha dorsal, 71 bilhões de ativos por token, mais 328 bilhões de parâmetros de Embedding N-grama. Contexto de 1 milhão, 393 mil tokens de saída máximos. Executa em: Apenas hospedado: QwenCloud API, Token Plan, Qwen Studio, QwenWork e Qoder. Sem pesos abertos, portanto, sem auto-hospedagem ou builds quantizados. Desempenho: Um grande salto em relação ao Qwen3.8-Max. Competitivo com modelos de ponta em trabalho de agente, atrás em codificação complexa e visão. Melhor: HLAB-Vals-1.1 (trabalho de agente legal): 21.3, versus 11.7 para Kimi K3.1, o segundo melhor modelo. O que é o Qwen4-Max? O Qwen4-Max é um modelo de linguagem MoE multimodal da Alibaba, construído para trabalho profissional de longo prazo. Uma prévia apenas para o Plano de Tokens foi aberta somente este mês. Como funciona a arquitetura do Qwen4-Max? O Qwen4 aprimora o design MoE esparso em 3 pontos: atenção, conexões residuais e embeddings. GDN + Qwen Sparse Attention (QSA): Cada camada QSA se une a 3 camadas Gated DeltaNet. Elas comprimem o histórico em estados de tamanho fixo. O QSA então usa um indexador leve para selecionar o contexto relevante com granularidade de micro-bloco. Isso reduz o custo de atenção e indexação em sequências longas. Residual Gated (GR): 4 ramificações residuais paralelas usam portas de leitura e escrita dinâmicas. O objetivo é um fluxo de informações mais forte e melhor estabilidade de treinamento. Embedding N-grama: 328 bilhões de parâmetros extras fornecem pesquisas de padrões de tokens locais na camada 2. Isso adiciona capacidade com pouco custo computacional extra. A Alibaba relata que não houve picos de perda durante a execução do pré-treinamento em escala de 2,4 trilhões. Em testes internos, o Qwen4-Max-Base mostra de 5 a 13% menos bits por byte do que o Qwen3.8-Max-Base. Ele faz isso enquanto ativa 25% menos parâmetros. Como o Qwen4-Max se comporta em benchmarks? Alibaba
Fonte: MarkTechPost
Publicado em 2026-11-16