Perplexity revela novos modelos de incorporação com desempenho aprimorado em tarefas de referência

A Perplexity AI lançou dois novos modelos de incorporação de estilo ColBERT, pplx-embed-v2-late, projetados para recuperação eficiente de texto, imagem e PDF. Os modelos estão disponíveis em duas versões: um modelo de borda de 0,6B de parâmetros para consultas rápidas e econômicas, e um modelo de 9B de parâmetros que oferece maior qualidade. Ambos os modelos operam em um espaço de incorporação compartilhado e estão disponíveis no Hugging Face sob a licença MIT. O modelo de 9B alcançou uma pontuação de 92,4% no benchmark MADQA, superando outros modelos significativamente. O modelo de 0,6B, embora obtenha pontuações mais baixas em certos benchmarks, ainda ocupa o segundo lugar no ViDoRe v3 Markdown. A Perplexity afirma que os modelos foram treinados usando um modelo professor de 18B com treinamento de nível de token no estilo LEAF, permitindo seu espaço de incorporação compartilhado. A empresa também anunciou planos para um endpoint de API hospedado, embora ainda não esteja disponível.