Linkup presenta SPARSEUP: un modelo de incrustación esparso de 149 millones de parámetros para uso de código abierto

Linkup Research ha presentado SPARSEUP, un modelo de incrustación esparso de código abierto con 149 millones de parámetros, diseñado para tareas de recuperación eficientes. El modelo se basa en una arquitectura ModernBERT y se ha publicado bajo la licencia Apache 2.0, con los pesos disponibles en Hugging Face. SPARSEUP obtiene una puntuación promedio de nDCG@10 de 56,4 en el conjunto de datos BEIR-13, lo que lo posiciona como el codificador esparso público más potente con menos de 150 millones de parámetros. A diferencia de los modelos densos, SPARSEUP genera vectores sobre un vocabulario, mapeando cada dimensión a un token real, lo que se alinea con los índices invertidos y mejora la legibilidad. El modelo se desarrolló como respuesta a las versiones DenseOn y LateOn de LightOn, llenando la brecha en los métodos de recuperación esparsa. El entrenamiento implicó puntos de control de LateOn no supervisados, con ajuste fino utilizando el aprendizaje de mezcla y contrastivo de LightOn, lo que resultó en una configuración de entrenamiento de una sola GPU H100. En BEIR-13, SPARSEUP supera a DenseOn en ciertas tareas como ArguAna y Touché, pero se queda atrás en conjuntos de datos semánticos como FiQA. En el conjunto de datos BEIR descontaminado, la diferencia con DenseOn se reduce a 0,17 puntos, aunque los resultados en NQ y MS MARCO se consideran ruidosos debido a un número limitado de consultas. SPARSEUP también logra una alta tasa de recuperación con Seismic search, alcanzando más del 97% en 380 microsegundos por consulta.