A webAI lançou o TwIL-8B, um modelo de raciocínio de 8.8B para matemática, código e seguir instruções. O modelo de raciocínio TwIL-8B é pós-treinado a partir do Granite 4.2 8B da IBM. Os pesos estão disponíveis no Hugging Face sob uma licença não-comercial. A publicação de lançamento da webAI foca a proposta no custo por tarefa, e não na escala bruta. A versão de 4 bits tem 4.98 GiB, dimensionada para inferência em CPU ou GPU com VRAM modesta. TL;DR Tamanho: 8.79B parâmetros, denso. Contexto de 131.072 tokens, herdado do modelo base. Funciona em: CPU ou GPU com VRAM modesta via um GGUF Q4_K_M de 4.98 GiB. Os pesos completos em bf16 são de 16.38 GiB. Desempenho: Lidera sua classe de tamanho em matemática e código, fica atrás em benchmarks de conhecimento. Melhor: MATH-500 com 98.2, a pontuação máxima na comparação da webAI. Pior: GPQA Diamond com 70.2, 11.5 pontos atrás do Qwen3.5-9B. HLE é 12.6 (variante verbose).
O que é TwIL-8B? TwIL-8B é um modelo de raciocínio denso, apenas decodificador, da webAI. Ele possui 40 camadas, tamanho oculto de 4096 e 32 cabeças de atenção com 8 cabeças KV. A entrada e a saída são apenas em texto em inglês. O modelo escreve um bloco <think> antes de cada resposta. Ele é fornecido em 2 variantes com a mesma arquitetura e tokenizer. A variante Equilibrada (Balanced) é a padrão e produz rastros de raciocínio mais curtos. A variante Verbosa (Verbose) raciocina por mais tempo e tem como alvo problemas difíceis estilo concurso. TwIL-8B expande a família TwIL da webAI. Os primeiros membros foram modelos de lógica formal de 1.7B e 3B lançados em agosto de 2026.
Como o TwIL-8B foi treinado? A webAI utilizou 3 estágios de pós-treinamento: SFT com parâmetros completos em rastros de raciocínio para matemática, STEM e seguir instruções. Aprendizado por reforço GRPO/DAPO em prompts de matemática, código, STEM e instruções. Isso produz a variante verbose. RL com reconhecimento de comprimento, com uma recompensa que favorece rastros mais curtos em relação a referências de comprimento por domínio. Isso produz a variante balanced. Os conjuntos de treinamento foram descontaminados com correspondência de 13-gramas em relação a AIME, HMMT, MATH-500, GPQA e outras avaliações.
Como o TwIL-8B se comporta em benchmarks? Todas as pontuações do TwIL-8B são autorrelatadas, pass@1 de alto esforço com o pensamento habilitado. Pontuação
Fonte: MarkTechPost
Publicado em 2026-11-04