Perplexity lança Q2D-Web para avaliar sistemas de RAG agenticos
A Perplexity apresentou o Q2D-Web, um novo benchmark e leaderboard público para medir o desempenho de modelos de recuperação em sistemas de RAG.
Pontos principais
- O benchmark utiliza um corpus de 190 milhões de documentos da web.
- A base inclui 69.721 consultas reformuladas por agentes em dez idiomas.
- A avaliação combina citações de agentes, rankings de produção e julgamentos de LLM.
- O modelo pplx-embed-v1-4b liderou as categorias Web Ranking e Combined.
A Perplexity anunciou o lançamento do Q2D-Web, um benchmark e leaderboard público voltado para a avaliação de sistemas de RAG agenticos. A ferramenta utiliza um corpus de 190 milhões de documentos da web e 69.721 consultas reformuladas por agentes, abrangendo domínios como saúde, finanças e programação.
Para garantir a precisão dos resultados e reduzir falsos negativos, o benchmark emprega três conjuntos de relevância, incluindo julgamentos de LLM e citações de agentes. O modelo pplx-embed-v1-4b da própria empresa obteve o melhor desempenho nas categorias de Web Ranking e Combined.
Comentários
Carregando comentários...
