A Underdog, assistente on-device da Conway Research, lançou o Saluki 27B sob licença Apache 2.0. O Underdog Saluki 27B é um GGUF de 2 bits do Qwen3.8-27B que ocupa 7,89 GB. O modelo BF16 completo requer 54 GB. A Underdog ajustou a compressão para proteger o 'tool calling', a habilidade que transforma um modelo de chat em um agente. Para desenvolvedores, isso significa um modelo agente de classe 27B que roda em um llama.cpp padrão. TL;DR Tamanho: 27B parâmetros densos. GGUF de 7,89 GB contra 54 GB para BF16. Roda em: llama.cpp padrão e aplicativos construídos sobre ele, com descarga completa da GPU. Adicional opcional de visão de 629 MB ou 928 MB. Desempenho: 96% de retenção média em 9 benchmarks versus o Qwen3.8-27B completo. Melhor: Chamadas de ferramentas paralelas, 42 contra 35 para o modelo completo (120% de retenção). Pior: AIME 2025, 79,2 contra 96,7 (cerca de 82% de retenção). Conclusão: Melhor: supera o original de 54 GB na chamada de ferramentas em um arquivo de menos de 8 GB. Pior: matemática de competição e raciocínio em várias etapas caem de 12 a 18 pontos. O que é o Underdog Saluki 27B? Saluki 27B é um GGUF de 2 bits de precisão mista do Qwen3.8-27B construído para agentes locais. Ele empilha 3 camadas de trabalho: A base é o Qwen3.8-27B, um modelo denso de 27B da equipe Qwen. Ele tem 64 camadas, mistura atenção linear Gated DeltaNet com atenção gated e suporta 262.144 tokens nativamente. A segunda camada é o Qwen3.8-27B-GSQ-RCO-GGUF do ISTA-DASLab. O GSQ aprende grades escalares de baixa precisão precisas por tensor. O RCO atribui um tipo de quantização a cada tensor sob um orçamento de tamanho fixo. O menor arquivo do ISTA, IQ2_XS, tem 8,4 GB a 2,50 bits por peso. A terceira camada é o próprio passe da Underdog. Ela diminuiu o arquivo para 7,89 GB e focou no 'tool calling'. O arquivo é nomeado IQ2-mix e carrega uma tag imatrix. A Underdog não publicou a receita completa para este passe. Como o Saluki se comporta nos benchmarks? A Underdog divide seus resultados em 2 grupos. O primeiro grupo executou ambos os modelos no mesmo harness: Underdog Bench: 120 tarefas do BFCL v4, congeladas antes do teste. Pensamento desligado, temperatura 0. Saluki pontua 88, o modelo completo
Fonte: MarkTechPost
Publicado em 2026-10-09