Modelo hunyuan da tencent alcança compressão quase sem perdas para 440mb para tradução em tempo real

Recentemente, a equipe Hunyuan da Tencent anunciou um avanço técnico significativo, conseguindo comprimir seu modelo de tradução de 1,8B, principalmente projetado para dispositivos de borda, para alguns poucos megabytes. O modelo mantém uma qualidade de tradução quase idêntica e já foi implementado para a tradução em tempo real dos comentários de transmissões ao vivo no Bilibili (B站), marcando uma transição de uma demonstração de laboratório para uma aplicação do mundo real de alta concorrência. O modelo base Hy-MT2-1,8B faz parte da família de modelos de tradução Hunyuan da Tencent e suporta tradução bidirecional entre 33 idiomas. Em termos de qualidade geral de tradução, superou várias APIs de tradução comerciais na avaliação geral de tradução FLORES-200 sob o mesmo tamanho de modelo. No entanto, o modelo original exigia até 3,3 GB de memória na precisão FP16 tradicional, e mesmo com quantização de 4 bits, ainda precisava de mais de 1 GB, o que era insuficiente para a concorrência de várias tarefas em dispositivos de borda. Para resolver isso, a Tencent introduziu dois esquemas de quantização de bits ultra-baixos. O primeiro esquema é um modelo de 2 bits, direcionado para dispositivos de ponta. Essa abordagem utiliza a tecnologia de Quantização Consciente de Esticabilidade (SEQ) para quantizar parâmetros em valores discretos específicos e combina a Quantização Consciente de Distilação (QAD) para alcançar uma qualidade de tradução quase sem perdas, reduzindo o tamanho do modelo para 574 MB. O segundo esquema é uma solução de 1,25 bits de bits ultra-baixos, adequada para todas as séries de dispositivos. Este método é baseado na tecnologia de quantização ternária esparsa e eficiente desenvolvida pela Tencent, Sherry, que foi previamente selecionada como um artigo oral na conferência ACL2026. A estratégia central envolve um mecanismo de esparsidade granular, onde três de cada quatro parâmetros são armazenados com valores específicos e os restantes são definidos como zero, resultando em uma média de 1,25 bits por parâmetro. Combinado com o kernel STQ projetado especificamente para CPUs, o modelo original de 3,3 GB foi comprimido para 440 MB. Para tornar o modelo de bits ultra-baixos independente das arquiteturas específicas de ARM para dispositivos móveis, a equipe da Intel conduziu uma adaptação aprofundada para o ecossistema x86. Ao otimizar a vetorização, a reordenação de pesos e a fusão de instruções VNNI nas operações de matriz quantizadas, o formato de quantização de bits baixos do Hy-MT2 alcançou melhorias significativas na velocidade de processamento de tokens em dispositivos Intel mainstream, incluindo os mais recentes processadores Core Ultra de terceira geração e Core. Isso permitiu que a solução de bits ultra-baixos fosse aplicada a PCs e dispositivos de borda. Na validação comercial prática, o Bilibili integrou oficialmente este modelo de bits ultra-baixos para a tradução em tempo real dos comentários de transmissões ao vivo. O tamanho de download total de todo o recurso é de aproximadamente 600 MB, e o uso de memória durante a operação permanece entre 500 e 700 MB. O tempo médio de tradução para um único comentário é de cerca de 500 a 800 milissegundos, permitindo uma tradução em tempo real suave em frequências regulares de comentários e lidando com vários gírias da internet com precisão. Este modo de operação independente no dispositivo reduz os custos de chamadas de servidor na nuvem e os custos de largura de banda, e evita o upload de dados durante todo o processo, protegendo efetivamente a privacidade e a segurança do usuário.