Novo Adaptador LoRA Eleva o Sucesso de Codificação do Qwen3.8 de 39% para 65%

A equipe harness-hub da Hugging Face lançou o Qwen3.8-27B-pi-adapted, um adaptador LoRA para o Qwen3.8-27B. Ele foi treinado com aprendizado por reforço para funcionar dentro do agente de codificação pi. O adaptador LoRA Qwen3.8-27B-pi-adapted tem como alvo um `harness` específico em vez de um chat geral. Para desenvolvedores que executam agentes de codificação locais, esse é o ponto principal. Você mantém o modelo base aberto e troca por um adaptador pequeno e específico para o `harness`. TL;DR Tamanho: Rank LoRA 32 (alpha 64) no Qwen3.8-27B, um híbrido denso de 27B com 262.144 de contexto nativo. O checkpoint BF16 mesclado tem cerca de 54 GB. Executa em: vLLM com LoRA ativado, ou llama.cpp com um adaptador GGUF em uma base Q8_0. A VRAM de inferência não é divulgada. O treinamento utilizou 2x NVIDIA B200. Desempenho: Grandes ganhos de pass@1 dentro do `pi` com o `thinking` desativado, além de sessões muito mais curtas. Melhor: 64,7% no SWE-bench Pro (difícil 51), acima de 39,2%. Pior: 55,8% no Terminal-Bench 2.1. O modelo base com `thinking` já atinge 64,7% no SWE-bench Pro. Conclusão: Melhor: precisão em nível de `thinking` com cerca de 4,5x menos tokens. Pior: pequenos conjuntos de avaliação, auto-relatado, apenas para `pi`. O que é Qwen3.8-27B-pi-adapted? Qwen3.8-27B-pi-adapted é um adaptador PEFT LoRA que transforma o Qwen3.8-27B em um modelo ajustado para `pi`. `pi` é um kit de ferramentas de agente com licença MIT que inclui uma CLI de agente de codificação. O adaptador é lançado sob a licença Apache-2.0. Ele se aplica às projeções q, k, v, o, gate, up e down. Funciona apenas no Qwen3.8-27B. O modelo base é um híbrido denso. Ele alterna blocos de atenção linear Gated DeltaNet com blocos de Gated Attention ao longo de 64 camadas. Como funciona o treinamento do adaptador `harness`? O método vem da postagem da Hugging Face sobre adaptadores `harness` de 6 de novembro. A ideia é 1 adaptador LoRA por modelo e `harness`. O treinamento é executado dentro do `harness` não modificado em tarefas verificáveis. Para este checkpoint, o card do modelo lista os seguintes detalhes: Algoritmo: AsyncGRPO do TRL, 8 rollouts por tarefa com temperatura 0.8. Tarefas: 750 tarefas scale800 intercaladas com 300 tarefas TermGrade. Recompensa: correção do verificador mais eficiência da ferramenta.

Fonte: MarkTechPost

Publicado em 2026-11-18

Notícias relacionadas

Continue explorando