Perplexity presenta un nuevo modelo de incrustación contextual para una recuperación mejorada en los sistemas rag

Perplexity y turbopuffer han introducido pplx-embed-v2-context-9b-preview, un modelo de incrustación contextual diseñado para mejorar la recuperación en los sistemas de Generación Aumentada con Recuperación (RAG). El modelo incrusta documentos completos y aprende a recuperar respuestas junto con la evidencia de respaldo, en lugar de depender de un único 'párrafo de referencia'. Está disponible como una versión de previsualización autoalojada, con pesos en Hugging Face bajo la licencia MIT, aunque aún no es accesible a través de la API de Perplexity. El entrenamiento implica un modelo maestro que califica los tokens en función de las consultas y los documentos, lo que permite límites de fragmento flexibles sin necesidad de volver a etiquetar. El modelo, derivado de un modelo de recuperación ColBERT de 9B, admite dimensiones de 1024 y 2048, con entrenamiento consciente de la cuantificación para incrustaciones int8. Perplexity informa que supera a Voyage-context-4 en tareas de recuperación de fragmentos, con una sensibilidad medida por el nDCG@10 medio en 74 tareas MTEB. El modelo aborda los desafíos de los sistemas RAG tradicionales, donde los fragmentos a menudo dependen de entidades o definiciones externas. Al utilizar la fragmentación tardía y la agrupación media, reduce la dependencia de las estrategias de fragmentación fijas. Perplexity destaca los problemas con las etiquetas binarias y los costes de anotación lineales, proponiendo un enfoque de objetivo suave utilizando las puntuaciones de los tokens. El lanzamiento incluye una guía interactiva que explica cómo la destilación del modelo maestro reemplaza la etiquetación de un único 'párrafo de referencia', con resultados de context-bench que muestran métricas de rendimiento mejoradas.