Perplexity presenta nuevos modelos de incrustación con un rendimiento mejorado en tareas de referencia

Perplexity AI ha lanzado dos nuevos modelos de incrustación multimodales de estilo ColBERT, pplx-embed-v2-late, diseñados para la recuperación eficiente de texto, imágenes y PDF. Los modelos están disponibles en dos versiones: un modelo de borde de 0,6B de parámetros para consultas rápidas y rentables, y un modelo de 9B de parámetros que ofrece una mayor calidad. Ambos modelos operan en un espacio de incrustación compartido y están disponibles en Hugging Face bajo la licencia MIT. El modelo de 9B obtuvo una puntuación del 92,4 % en el conjunto de datos MADQA, superando significativamente a otros modelos. El modelo de 0,6B, aunque obtiene puntuaciones más bajas en ciertos conjuntos de datos, sigue estando en segundo lugar en ViDoRe v3 Markdown. Perplexity afirma que los modelos se entrenaron utilizando un modelo maestro de 18B con un estilo de entrenamiento a nivel de tokens, lo que permite su espacio de incrustación compartido. La empresa también ha anunciado planes para un punto final de API alojado, aunque aún no está disponible.