A Baidu lançou o ERNIE 5.5 Flash Base, o checkpoint bruto de pré-treinamento de seu novo modelo de linguagem Mixture-of-Experts (MoE) esparso. O ERNIE 5.5 Flash Base é um modelo de texto de 280B de parâmetros da Baidu que ativa 14B de parâmetros por token. Os pesos param no final do pré-treinamento, sem aplicação de treinamento intermediário ou pós-treinamento. Isso serve como um ponto de partida limpo para equipes que desejam comparar métodos de fine-tuning, instruction tuning ou RL a partir de um único checkpoint. Resumo: Tamanho: 280B total, 14B ativos por token; contexto de treinamento de 128K, 1M para fine-tuning e inferência. Executa em: Servidores multi-GPU. As configurações de referência da Baidu usam paralelismo de 4 vias em SGLang e vLLM. Modelo de GPU e VRAM não divulgados. Pesos FP8 e BF16. Desempenho: Melhor pontuação em 24 dos 30 benchmarks de modelos base no pipeline unificado da Baidu (auto-relatado). Melhor: MMLU-Pro 78.4, à frente do DeepSeek-V4-Flash-Base em 69.2. Pior: HELMET-Rerank 56.2, atrás do DeepSeek-V4-Flash-Base em 60.0. O que é o ERNIE 5.5 Flash Base? É um modelo base MoE apenas de texto com 43 camadas e um tamanho oculto de 4096. Foi pré-treinado do zero com 33,5T de tokens usando o otimizador Muon. O tokenizer tem 201.216 entradas e agrupa números da direita para a esquerda em blocos de até 3 dígitos. A computação ativada, o cache KV e o custo de contexto longo foram tratados como um único orçamento. Os dados de pré-treinamento foram baseados em código em escala de repositório e material de contexto longo, já que estes são difíceis de adicionar posteriormente. Como funciona a arquitetura do ERNIE 5.5 Flash? Atenção híbrida: 37 camadas usam Atenção Pesadamente Comprimida (HCA), que armazena em cache 1 entrada a cada 128 tokens. As outras 6 camadas usam Atenção Latente Multi-cabeça com atenção esparsa (MLA + DSA). Isso significa que 1 em cada 7 camadas mantém acesso ao contexto completo. As camadas HCA usam cabeças de 512 dimensões; as camadas MLA usam cabeças de 256 dimensões. Cabeças 'gated' e mistas: O 'gate' de saída da atenção vem do latente de consulta de baixa patente, cortando os parâmetros de projeção do 'gate' em 75%. A Atenção de Cabeça Virtual adiciona uma mistura leve de baixa patente entre as cabeças. MoE Latente Multi-Roteador. Cada camada MoE possui
Fonte: MarkTechPost
Publicado em 2026-11-05