A Sarvam abriu a Sarvam Token Factory a todos. A Sarvam Token Factory é uma plataforma de inferência da Sarvam que serve seus próprios modelos e modelos de peso aberto a partir de clusters de GPU na Índia. Desenvolvedores acessam todos os modelos através de uma API compatível com OpenAI. Para equipes baseadas na Índia, isso significa tokens de baixa latência sem enviar tráfego para nuvens no exterior. Você pode verificar as opções de implantação e especificações aqui através de nossa extensão do Chrome GPULeaderboard.com. TL;DR Tamanho: 8 modelos listados no lançamento, incluindo Sarvam 105B (105B total, 9B ativo, 128K de contexto), GLM 5.3, DeepSeek V4.1 Flash 1017, Kimi K3.1 Pro e Gemma 4 31B. Funciona em: clusters NVIDIA B200 na Índia. O Sarvam 105B agora se encaixa em 1 B200 por réplica. A implantação on-premise é oferecida a empresas. Desempenho: Primeiro token mais rápido de Mumbai na maioria dos casos testados, de acordo com as próprias medições da Sarvam. Melhor: Kimi K3.1 Pro a 6.177 tokens/s por GPU vs 3.213 para InferenceX, a 70 tokens/s por usuário (1.9x). O que é a Sarvam Token Factory? É uma pilha de inferência gerenciada, não um único modelo. A Sarvam a apresentou pela primeira vez como Sarvam Inference em seu evento Epoch. A publicação de lançamento lista 8 modelos: Sarvam 105B, GLM 5.3, GLM 5.3 Flash, DeepSeek V4.1 Flash 1017, DeepSeek V4 Pro, Kimi K3, Kimi K3.1 Pro e Gemma 4 31B. A documentação os divide em 2 grupos. Modelos pay-as-you-go rodam em endpoints compartilhados. DeepSeek V4 Pro, Kimi K3.1 Pro, Qwen 3.8 27B, Clef e EmbeddingGemma 2 precisam de Provisioned Throughput, ativado por organização. Como funciona? A pilha possui 3 camadas em torno de um cache compartilhado: Plano de controle: um roteador sensível ao cache, controle de admissão e um planejador. Motor de inferência: pools de GPU separados para prefill e decodificação. Cache: memória da GPU mais um armazenamento G3 compartilhado construído sobre Mooncake. Ela se baseia em vLLM, SGLang, Dynamo, Mooncake, NIXL, DeepEP, DeepGEMM e FlashInfer. Um agente orquestrador propõe experimentos, e um engenheiro aprova cada implantação. O cache impulsiona a maioria dos ganhos. O DeepSeek V4.1 Flash serve mais de 450 bilhões de tokens por dia, com 95,7% dos tokens de prompt.
Fonte: MarkTechPost
Publicado em 2026-11-17