H company presenta neomme: una nueva familia de codificadores multimodales sin torre de visión ni decodificador causal

H Company ha presentado NeoMME, una familia de codificadores multimodales con 260M y 800M parámetros, diseñada para eliminar la torre de visión y el decodificador causal que normalmente se encuentran en modelos similares. Los codificadores procesan tanto texto como fragmentos de imágenes RGB de 32×32 a través de un único Transformer, entrenado a partir de una inicialización aleatoria. NeoMME-Retriever, una versión afinada para la recuperación, alcanza un nDCG@10 de 0.523 en ViDoRe v3 con 260M parámetros. El modelo de 260M indexa 51.3 páginas por segundo en un NVIDIA L40S y codifica consultas en 78.3 ms en un host solo con CPU. El modelo admite un contexto de 16.384 tokens y utiliza atención de ventana deslizante simétrica, atención agrupada de consultas y MLPs de ReLU cuadrados. El tokenizador, un BPE con un vocabulario de 131.072 entradas, emite un 44,4% menos de tokens que ModernBERT en 14 idiomas. El preentrenamiento implica difusión discreta de máscaras sobre texto, opcionalmente condicionada en fragmentos de imágenes visibles. El modelo de 260M alcanza un nDCG@10 de 0.523 en ViDoRe v3, ligeramente por debajo de ColQwen2.5-v0.2 pero significativamente por encima de otros modelos de menos de 300M. La indexación es rápida, ya que NeoMME-260M codifica 51.3 páginas por segundo en un L40S, superando a ColModernVBERT en un factor de 1.97×.