Perplexity revela sua infraestrutura de incorporação baseada em GPU

A Perplexity detalhou sua infraestrutura de incorporação baseada em GPU, explicando como seus sistemas Ivy, Tulip e ROSE suportam o modelo pplx-embed. A empresa enfatiza que a inferência de incorporação em hardware Hopper e Blackwell maduros convergiu em grande parte, com ganhos de desempenho provenientes de otimizações de tempo de execução e gerenciamento de ferramentas. A Perplexity define a incorporação como duas cargas de trabalho distintas: incorporação em lote para a construção de bancos de dados vetoriais e incorporação online para o processamento em tempo de consulta. A empresa optou por não construir um motor de incorporação separado, reutilizando em vez disso os núcleos de preenchimento e decodificação de sua pilha LLM. O Tulip gerencia sequências com uma abordagem de "primeiro que chega, primeiro que serve", enquanto o ROSE suporta vários backends de atenção, incluindo FlashInfer 3 e FlashAttention 4. A Perplex, que compara com vLLM v0.22.0, destaca a eficiência de lazy capture e LazyTensor para o gerenciamento de cargas de trabalho de GPU. O sistema também lida com incorporações de alta taxa e alta concorrência, com métricas de desempenho que abrangem vários tamanhos de lote e contagens de tokens.