O Thinking Machines Lab lançou o Inkling 2 Mini, um transformador 'looped' de peso aberto com um total de 26,4 bilhões de parâmetros. O modelo reutiliza suas camadas intermediárias 3 vezes por token em vez de adicionar mais pesos. Isso mantém o checkpoint próximo a 20GB, pequeno o suficiente para um Mac de 32GB ou 1 NVIDIA DGX Spark. Para desenvolvedores, o Inkling 2 Mini é uma opção local para codificação agentiva, uso de ferramentas e trabalho com documentos. Ele é distribuído sob a licença Apache 2.0 no Hugging Face, com inferência hospedada e ajuste fino no Tinker. TL;DR Tamanho: 26,4B no total, 3,4B ativos (5,4B efetivos por token com looping), contexto de até 1M de tokens. Roda em: Apple silicon com 32GB+ de memória, 1 NVIDIA DGX Spark, ou GPUs com 32GB+ de VRAM. Builds GGUF via Unsloth e llama.cpp. Desempenho: 20,1 no Artificial Analysis Index, empatado com Qwen3.8-27B (auto-relatado). Melhor: 79,2% no SWE-bench Verified (apenas bash). Pior: 15,2% no HLE-Diamond e 50,0% no MultiChallenge. Resumo: Melhor: forte codificação agentiva a partir de um checkpoint de 20GB. Pior: recall de conhecimento e seguimento de instruções multi-turno mais fracos. O que é o Inkling 2 Mini? O Inkling 2 Mini é um modelo esparso Mixture-of-Experts da Thinking Machines que 'loopa' suas camadas intermediárias. Ele aceita texto e imagens e retorna apenas texto. Ele sucede o Inkling 2 Small, um modelo de 594 bilhões de parâmetros lançado em 5 de novembro. Como funciona o transformador 'looped'? O modelo armazena 24 camadas, agrupadas em 4 blocos de 6. Os primeiros e últimos blocos são executados uma vez. Os 2 blocos intermediários são executados 3 vezes com pesos compartilhados. Isso resulta em 48 aplicações de camada por token a partir de 24 camadas de pesos. Cada passagem após a primeira recebe uma "mensagem" da passagem anterior. A Thinking Machines a carrega com Attention Residuals e um gate aprendido. As camadas feed-forward usam 128 especialistas, com 8 roteados por token. O 'looping' das camadas intermediárias proporcionou um ganho equivalente a 1,51x a 1,91x em computação. O 'looping' das últimas camadas proporcionou apenas 1,24x a 1,36x. A variante de 'loop' intermediário venceu 27 de 28 avaliações. O 'looping' custa computação no treinamento, mas economiza na inferência. Um b não-looped
Fonte: MarkTechPost
Publicado em 2026-11-21