Liquid AI revela o liquidcodec, um tokenizador de áudio de streaming com 74 milhões de parâmetros

A Liquid AI introduziu o LiquidCodec, um novo tokenizador de fala de streaming com aproximadamente 74 milhões de parâmetros, que alimenta os modelos LFM3-Audio-2B e LFM3-Omni-2B. Este codec converte a fala em tokens previsíveis para o processamento de modelos de linguagem e de volta para áudio. Substitui o Mimi, que era usado no modelo LFM2-Audio-1.5B, e está disponível no Hugging Face. O LiquidCodec comprime áudio de 24 kHz em 12 fluxos de token, com cada quadro de 80 ms produzindo 12 tokens discretos. O pipeline envolve estágios de codificação, quantização e decodificação, utilizando metades simétricas da arquitetura LFM3. Utiliza quantização de escalares finitos agrupados (GFSQ) em vez de quantização de vetores residuais (RVQ), permitindo a previsão paralela através de transformadores de estilo MaskGIT. Os testes de desempenho mostram ganhos de eficiência significativos; a codificação alcançou um fator de tempo real (RTF) de 0,0028, substancialmente inferior ao de 0,0361 do Mimi. O RTF do decodificador foi de 0,0115, em comparação com 0,0329 do Mimi. O treinamento envolveu duas fases: uma utilizando 264.000 horas em 107 idiomas com perdas de forma de onda e espectrais, e uma segunda fase de ajuste fino em 55.000 horas de fala de banda completa com críticos adversários para mitigar artefatos metálicos. Para implantação, a Liquid AI oferece versões GGUF Q4_0, Q4_K_M e Q8_0 para llama.cpp, com a quantização Q4_0 reduzindo o tamanho do decodificador em 3,5x, enquanto tem um impacto mínimo na LibriSpeech ViSQOL (de 4,319 para 4,292).