Cohere lanza embed 5, superando a la competencia en las principales métricas

Cohere ha lanzado Embed 5, una nueva familia de modelos de incrustación diseñados para la búsqueda empresarial, RAG (Retrieval-Augmented Generation) y la recuperación asistida por agentes. El modelo está disponible en dos niveles: Pro y Fast. Pro prioriza la calidad de la recuperación, mientras que Fast se centra en la latencia y la eficiencia de costes. Ambos modelos admiten texto, imágenes e entradas de texto e imagen combinadas, cubriendo más de 100 idiomas y gestionando hasta 128K tokens. Comparten el mismo espacio de incrustación, lo que permite la indexación con Pro y la consulta con Fast. Embed 5 está actualmente disponible a través de la API de Cohere, Model Vault, Microsoft Foundry y Amazon SageMaker, con opciones privadas de VPC y en el sitio a través de vLLM. Embed 5 supera a competidores como Voyage 4 Large, Gemini Embedding 2 y el modelo de texto-embedding-3-large de OpenAI en las pruebas de referencia. En ViDoRe V3, Embed 5 Pro obtiene una puntuación de 85,8, mientras que Fast obtiene una puntuación de 84,5. En las pruebas financieras, Pro lidera con puntuaciones de 80,1, 90,0 y 85,0, mientras que Fast ocupa el segundo lugar. Los resultados multilingües muestran un rendimiento mixto, con Gemini Embedding 2 superando a Pro en varios idiomas. Se utiliza la nueva métrica RCP-nDCG@10 de Cohere, que evalúa la calidad de la reordenación, para estas comparaciones, aunque la validación independiente aún está pendiente. El modelo utiliza el aprendizaje de representación de Matryoshka y salidas de menor precisión para reducir el almacenamiento y mejorar la eficiencia. Cohere recomienda 1024 dimensiones int8 como la configuración predeterminada, equilibrando calidad y coste. La capacidad de Embed 5 para procesar imágenes y fusionarlas con metadatos mejora su utilidad para documentos escaneados y datos visuales.