El modelo hunyuan de tencent logra una compresión de pérdida cercana a cero de 440 mb para la traducción en tiempo real

Recientemente, el equipo Hunyuan de Tencent anunció un importante avance técnico, logrando comprimir su modelo de traducción de 1.8B, principalmente diseñado para dispositivos de borde, a unos pocos cientos de megabytes. El modelo mantiene una calidad de traducción casi idéntica y ya se ha implementado para la traducción en tiempo real de comentarios en vivo en Bilibili (B站), marcando una transición de una demostración de laboratorio a una aplicación del mundo real de alta concurrencia. El modelo base Hy-MT2-1.8B es parte de la familia de modelos de traducción Hunyuan de Tencent y admite la traducción bidireccional entre 33 idiomas. En términos de calidad general de traducción, ha superado a varias API de traducción comerciales en la evaluación general de traducción FLORES-200 bajo el mismo tamaño de modelo. Sin embargo, el modelo original requería hasta 3.3 GB de memoria en precisión FP16 tradicional, e incluso con cuantificación de 4 bits, aún necesitaba más de 1 GB, lo cual era insuficiente para la concurrencia de múltiples tareas en dispositivos de borde. Para abordar esto, Tencent introdujo dos esquemas de cuantificación de bits ultra bajos. El primer esquema es un modelo de 2 bits destinado a dispositivos de gama alta. Este enfoque utiliza la tecnología de cuantificación de Elastic Quantization (SEQ) para cuantificar los parámetros a valores discretos específicos y combina la Distilación Cuantitativa Consciente (QAD) para lograr una calidad de traducción casi sin pérdida al tiempo que reduce el tamaño del modelo a 574 MB. El segundo esquema es una solución de 1.25 bits de bits ultra bajos, adecuada para todas las series de dispositivos. Este método se basa en la tecnología de cuantificación de tres ceros desarrollada por Tencent, Sherry, que previamente fue seleccionada como un artículo oral en la conferencia ACL2026. La estrategia principal implica un mecanismo de esparcimiento a grano fino, donde tres de cada cuatro parámetros se almacenan con valores específicos y los demás se establecen en cero, lo que resulta en un promedio de 1.25 bits por parámetro. Combinado con el núcleo STQ diseñado específicamente para CPUs, el modelo original de 3.3 GB se comprimió a 440 MB. Para hacer que el modelo de bits ultra bajos sea independiente de las arquitecturas específicas de ARM móviles, el equipo de Intel llevó a cabo una adaptación en profundidad para el ecosistema x86. Al optimizar la vectorización, el reordenamiento de pesos y la fusión de instrucciones VNNI en las operaciones de matrices cuantificadas, el formato de cuantificación de bits bajos de Hy-MT2 logró mejoras significativas en la velocidad de procesamiento de tokens en dispositivos de gama principal de Intel, incluidos los procesadores Core Ultra de tercera generación y Core más recientes. Esto permitió que la solución de bits ultra bajos se aplicara a PCs y dispositivos de borde. En la validación comercial, Bilibili ha integrado oficialmente este modelo de bits ultra bajos para la traducción en tiempo real de comentarios en vivo. El tamaño de descarga total de todos los recursos es de aproximadamente 600 MB, y el uso de memoria durante la operación permanece entre 500 y 700 MB. El tiempo promedio de traducción para un solo comentario es de alrededor de 500 a 800 milisegundos, lo que permite una traducción en tiempo real fluida con frecuencias de comentarios regulares y un manejo preciso del argot de Internet. Este modo de operación independiente en el dispositivo reduce los costos de llamadas al servidor en la nube y los gastos de ancho de banda, y evita la carga de datos durante todo el proceso, protegiendo eficazmente la privacidad y la seguridad del usuario.