A Zyphra lançou o ZONOS3-Mini, um modelo de texto-para-voz de código aberto, construído para uso em tempo real em dispositivos locais. O modelo de texto-para-voz ZONOS3-Mini é uma Mistura Esparsa de Especialistas (MoE) com 800M de parâmetros totais e 100M de parâmetros ativos. Ele suporta clonagem de voz zero-shot e controle de entrega em nível de palavra. Os pesos são distribuídos sob a licença Apache 2.0. Para desenvolvedores de AI, o tamanho é o ponto chave. Ele roda em uma aba do navegador, em um laptop ou em uma GPU de servidor. TL;DR Tamanho: 800M de parâmetros totais, cerca de 100M ativos por token (64 especialistas, roteamento top-2); contexto de 32.768 posições; até 10 minutos de áudio por geração. Roda em: GPUs NVIDIA via SGLang-Omni, Apple Silicon via MLX, CPU/CUDA/Metal/Vulkan via ggml, e telefones ou laptops via WebGPU no navegador. Desempenho: Classifica-se em primeiro lugar entre os modelos abertos no Índice de Capacidade ZTTS2-Eval da Zyphra (auto-relatado). Melhor: Tempo médio de 80 ms para o primeiro áudio em uma H100 com 8 requisições concorrentes, e taxa de transferência máxima de 457 segundos de áudio por segundo. Pior: Tempo para o primeiro áudio abaixo de 570 ms no navegador em um Pixel 9, versus abaixo de 150 ms em um M3 MacBook Air. Conclusão: Melhor: qualidade de TTS aberta de nível de fronteira com 100M de parâmetros ativos. Pior: cada benchmark é executado pela própria Zyphra, e a clonagem de clipe de referência pontua muito mais baixo do que o modo de incorporação (embedding). O que é ZONOS3-Mini? ZONOS3-Mini é um modelo TTS compacto de clonagem de voz zero-shot da Zyphra que roda em tempo real no dispositivo. A Zyphra o treinou em 112 NVIDIA H100s em 2,5 dias. Ele sucede o ZONOS2, que usava 8B de parâmetros e um codec de 86 Hz. Esse tamanho limitava onde o ZONOS2 poderia ser implantado. Como funciona a arquitetura do ZONOS3-Mini? A Zyphra alterou 3 camadas do stack: Um novo codec: A Zyphra treinou o Zyphra Audio Codec 1 (ZAC-1) para substituir o Descript Audio Codec. O ZAC-1 opera a 15 Hz com 10 codebooks de 4.096 entradas: 1 semântico e 9 acústicos. A Zyphra relata uma redução de 10x na taxa de erro de palavra em comparação com um modelo treinado com DAC sob restrições de dados semelhantes. Um cabeçote iSTFT causal renderiza cada quadro para áudio de 44.1 kHz assim que é gerado.
Fonte: MarkTechPost
Publicado em 2026-11-10