H company apresenta neomme: uma nova família de codificadores multimodais sem torre de visão e decodificador causal

A H Company revelou o NeoMME, uma família de codificadores multimodais com 260M e 800M parâmetros, projetados para eliminar a torre de visão e o decodificador causal tipicamente encontrados em modelos semelhantes. Os codificadores processam texto e patches de imagem RGB de 32×32 através de um único Transformer, treinado a partir de inicialização aleatória. O NeoMME-Retriever, uma versão ajustada para recuperação, alcança 0,523 nDCG@10 no ViDoRe v3 com 260M parâmetros. O modelo de 260M indexa 51,3 páginas por segundo em um NVIDIA L40S e codifica consultas em 78,3 ms em um host apenas com CPU. O modelo suporta um contexto de 16.384 tokens e utiliza atenção de janela deslizante simétrica, atenção de consulta agrupada e MLPs ReLU quadrados. O tokenizador, um BPE com um vocabulário de 131.772 entradas, emite 44,4% menos tokens do que o ModernBERT em 14 idiomas. O pré-treinamento envolve difusão mascarada discreta em texto, opcionalmente condicionada em patches de imagem visíveis. O modelo de 260M alcança 0,523 nDCG@10 no ViDoRe v3, ligeiramente abaixo de ColQwen2.5-v0.2, mas significativamente acima de outros modelos com menos de 300M parâmetros. O indexamento é rápido, com o NeoMME-260M codificando 51,3 páginas por segundo em um L40S, superando o ColModernVBERT em 1,97x.