Nous Research lançou Arete-27B, um ajuste fino supervisionado do Qwen3.8-27B da Alibaba. Arete-27B é um modelo aberto de 27 B parâmetros que remove o enquadramento estatal chinês das respostas do Qwen. Na avaliação própria da Nous com 803 prompts, as respostas contendo propaganda diminuíram de 22% para 0,9%. Desenvolvedores obtêm habilidades de agente do tipo Qwen sem respostas alinhadas ao Estado. Os pesos, a avaliação e os dados de treinamento são totalmente públicos. TL;DR Tamanho: 27 B parâmetros densos (todos ativos). Treinado com contexto de 64 k tokens. O Qwen3.8-27B base suporta nativamente 262.144 tokens. Execução: pesos BF16 ocupam 53,81 GB. Uma quantização comunitária Q4_K_M tem 17,20 GB, adequada para GPUs de consumo de 24 GB. Desempenho: capacidade inalterada nos benchmarks da Nous; o enquadramento político agora corresponde a modelos ocidentais. Melhor resultado: taxa de propaganda 0,9%, queda de 22% em relação ao Qwen3.8-27B base. Pior resultado: pontuação de factualidade 2,98 de 5; 216 de 803 respostas ainda pontuam 0. O que é Arete-27B? Arete-27B é o Qwen3.8-27B após fine‑tuning supervisionado apenas. A Nous não usou RL, otimização de preferência nem mudanças de arquitetura. A licença é Apache 2.0, igual ao modelo base. A equipe da Nous constatou recusas, desvios e respostas enquadradas pelo Partido Comunista Chinês em tópicos sensíveis no modelo base. Escolheram o Qwen3.8-27B porque era o modelo local mais capaz e apresentava o comportamento alvo. Como o Arete-27B foi treinado? O professor foi o Inkling, um modelo aberto da Thinking Machines. A Nous optou por um professor aberto para evitar limitações de termos de uso na destilação. Rejeitaram o Nemotron 3 Ultra após encontrar um histórico problemático em tópicos sobre a China. O treinamento cobriu cerca de 52,8 milhões de tokens com contexto de 64 k, sem empacotamento de sequências. O processo durou 2 épocas e 1.202 passos com lote de 48. Usaram AdamW, taxa de aprendizado pico de 1e‑5 e paralelismo tensorial 4. Todos os pesos do modelo de linguagem foram treinados; o codificador de visão permaneceu congelado, já que os dados são apenas texto. A cabeça de predição multi‑token foi desativada. O conjunto released arete-data-pairs contém 34.878 prompts em 7 tópicos, cada um com resposta do Inkling e do Qwen.
Fonte: MarkTechPost
Publicado em 2026-11-08