Liquid AI presenta liquidcodec, un tokenizador de audio de transmisión con 74 millones de parámetros

Liquid AI ha introducido LiquidCodec, un nuevo tokenizador de voz de transmisión con aproximadamente 74 millones de parámetros, que impulsa sus modelos LFM3-Audio-2B y LFM3-Omni-2B. Este códec convierte la voz en tokens predecibles para el procesamiento de modelos de lenguaje y la convierte nuevamente en audio. Reemplaza a Mimi, que se utilizaba en el modelo LFM2-Audio-1.5B, y está disponible en Hugging Face. LiquidCodec comprime audio de 24 kHz en 12 flujos de token, donde cada marco de 80 ms produce 12 tokens discretos. El flujo de trabajo implica etapas de codificación, cuantificación y decodificación, utilizando mitades simétricas de la arquitectura LFM3. Utiliza la cuantificación de escalares finitos agrupados (GFSQ) en lugar de la cuantificación de vectores residuales (RVQ), lo que permite la predicción en paralelo a través de transformadores de estilo MaskGIT. Las pruebas de rendimiento muestran importantes ganancias de eficiencia; la codificación logró un factor de tiempo real (RTF) de 0,0028, sustancialmente inferior al de Mimi, que era de 0,0361. El RTF del decodificador fue de 0,0115, en comparación con el de Mimi, que era de 0,0329. El entrenamiento implicó dos fases: una utilizando 264.000 horas en 107 idiomas con pérdidas de forma de onda y espectrales, y una segunda fase de ajuste fino en 55.000 horas de voz de banda completa con críticos adversarios para mitigar los artefactos metálicos. Para su implementación, Liquid AI ofrece versiones GGUF de Q4_0, Q4_K_M y Q8_0 para llama.cpp, donde la cuantificación de Q4_0 reduce el tamaño del decodificador en 3,5x al tiempo que tiene un impacto mínimo en LibriSpeech ViSQOL (de 4,319 a 4,292).