Ricrecursive Intelligence acaba de lançar o Ripple-65B Preview. O Ripple-65B Preview é um modelo open-weight denso de 65B da Ricrecursive, pré‑treinado do zero para codificação de agentes. É uma variante de propósito geral do modelo proprietário que está por trás da plataforma de design de chips IA da Ricrecursive. A principal afirmação: 80,52 no Terminal-Bench 2.1, o maior score auto‑relatado entre modelos open‑weight dos EUA. Cada rival MoE que ele supera nessa prova possui entre 501B e 975B parâmetros totais. TL;DR Tamanho: 65B denso (65B ativos), pré‑treinado em 12T tokens, com contexto de até 1M. Executa em: BF16 em GPUs de data center (250 tokens/s em 2x B200). Versão experimental NVFP4 visa NVIDIA DGX Spark. Desempenho: Codificação de agente de nível frontier para seu tamanho; fica atrás de modelos MoE maiores em conhecimento e codificação científica. Melhor: Terminal-Bench 2.1, 80,5 (auto‑relatado). Pior: SciCode, 39,4, o menor dos 5 modelos na tabela própria da Ricrecursive. O que é o Ripple-65B Preview? O lançamento inclui 3 checkpoints: um modelo BF16 ajustado para instruções, uma versão NVFP4 e um modelo base BF16. Todos são disponibilizados sob Apache 2.0. O pré‑treinamento utilizou um corpus apenas de texto, principalmente em inglês e código, com comprimento de sequência de 8K. A equipe da Ricrecursive afirma que o custo total de P&D foi de US$32 M, cobrindo experimentos de escada, mistura de dados, avaliações, dados sintéticos e execuções finais. A equipe estima que o custo é um décimo do líder anterior de codificação de agentes open‑weight. Como funciona a arquitetura? A Ricrecursive escolheu um Transformer denso em vez de Mixture‑of‑Experts para reduzir a complexidade de infraestrutura. O treinamento manteve 40 % de MFU com sharding simples, sem kernels customizados e sem quantização. O modelo é fino e profundo: d_model de 5120 em 80 camadas. Ele passa de um layout semelhante ao Llama do Olmo 3 para um design similar ao Gemma 3N, visando estabilidade. Decisões chave: cabeças de atenção sobre‑provisionadas para raciocínio, compensadas por mais camadas de janela deslizante e janelas menores; atenção com portão, NoPE global e resíduo de valor; recorte de ativação FFN, técnica também usada no gpt‑oss. Ricrecursive
Fonte: MarkTechPost
Publicado em 2026-11-04