Liquid AI lançou o LiquidCodec, o codec de áudio por trás de seus modelos LFM3-Audio-2B e LFM3-Omni-2B. O LiquidCodec é um tokenizer de áudio de streaming com aproximadamente 74 milhões de parâmetros. Ele converte a fala em tokens que um modelo de linguagem pode prever e, em seguida, reconverte esses tokens de volta em áudio.
Objetivos: gerar tokens fáceis de prever e converter rapidamente de volta para fala.
Pesos disponíveis no Hugging Face.
TL;DR
- Tamanho: ~74M parâmetros (73,6M na card do modelo)
- Áudio 24 kHz, quadros a 12,5 Hz, 12 codebooks
- Executa em: um único thread de CPU (testado em laptop Apple M4 Max, FP32)
- GPUs CUDA via Transformers
- Builds GGUF Q4_0, Q4_K_M e Q8_0 para llama.cpp
Desempenho
- Melhor ViSQOL e menor distância de mel em todos os 8 conjuntos de teste em comparação com X-Codec 2, NanoCodec e Mimi.
- Melhor: ~361× tempo real de codificação em 1 thread de CPU (RTF 0.0028 vs RTF 0.0361 do Mimi).
O que é o LiquidCodec?
LiquidCodec é um codec de fala da Liquid AI que comprime áudio de 24 kHz em 12 fluxos de tokens. Cada quadro de 80 ms torna-se 12 tokens discretos, conforme a card do modelo LFM3-Audio‑2B. Substitui o Mimi de Kyutai, que a Liquid AI usava no LFM2-Audio‑1.5B; Mimi tem 96,2 M parâmetros.
Como funciona?
Pipeline: encode → quantize → decode. A Liquid AI utiliza blocos da arquitetura LFM3 tanto no encoder quanto no decoder. As duas metades são simétricas; o encoder é totalmente causal, ideal para streaming.
Quantização usa Grouped Finite Scalar Quantization (GFSQ) em vez de Residual Vector Quantization (RVQ). Em RVQ, cada codebook codifica o que o anterior deixou de capturar. Os grupos GFSQ são independentes, então os 12 codebooks podem ser previstos em paralelo por transformadores estilo MaskGIT. O decoder prevê diretamente coeficientes espectrais, evitando upsampling por convolução transposta, comum e custoso em decodificadores de waveform.
Treinamento
O treinamento foi em 2 etapas:
1. Usou 264.000 horas de fala em 107 idiomas, aplicando perdas de waveform e espectro, sem perdas adversariais.
2. Fine-tuning em 55.000 horas.
Fonte: MarkTechPost
Publicado em 2026-11-12