Perplexity revela Su infraestructura de incrustación basada en GPU

Perplexity ha detallado su infraestructura de incrustación basada en GPU, explicando cómo sus sistemas Ivy, Tulip y ROSE soportan el modelo pplx-embed. La empresa enfatiza que la inferencia de incrustación en hardware maduro de Hopper y Blackwell ha convergido en gran medida, con mejoras de rendimiento derivadas de la optimización en tiempo de ejecución y la gestión de herramientas. Perplexity define el servicio de incrustación como dos cargas de trabajo distintas: incrustación por lotes para la construcción de bases de datos vectoriales y incrustación en línea para el procesamiento en tiempo de consulta. La empresa optó por no construir un motor de incrustación separado, reutilizando en cambio los núcleos de prellenado y decodificación de su pila de LLM. Tulip gestiona las secuencias con un enfoque de "primero que llega, primero que sirve", mientras que ROSE soporta múltiples backends de atención, incluyendo FlashInfer 3 y FlashAttention 4. Perplex, que se compara con vLLM v0.22.0, destaca la eficiencia de Lazy Capture y LazyTensor para la gestión de cargas de trabajo de GPU. El sistema también gestiona incrustaciones de alto rendimiento y alta concurrencia, con métricas de rendimiento que cubren varios tamaños de lote y recuentos de tokens.