Pesquisadores lançam MatrAIx para simular 8,3 bilhões de usuários
O MatrAIx é uma nova infraestrutura que utiliza agentes de IA para testar produtos digitais com uma população simulada de 8,3 bilhões de personas.
Pontos principais
- O sistema utiliza 8,3 bilhões de registros de personas baseados em 1.290 dimensões categóricas.
- A base de dados inclui 1 milhão de personas selecionadas, sendo 599.847 baseadas em dados reais e 400.000 sintéticas.
- O MatrAIx oferece quatro ambientes de teste: pesquisas, chatbots, navegação web e aplicativos.
- Foram realizados 18.189 testes em 1.010 tarefas distintas abrangendo mais de 25 áreas, como finanças e saúde.
- Os agentes são impulsionados por modelos de linguagem como Claude Opus 4.8, GPT 5.5 e Claude Haiku 4.5.
- Estudos de validação mostraram que os agentes seguiram o comportamento declarado em 91,5% dos 400 testes controlados.
Pesquisadores apresentaram o MatrAIx, uma infraestrutura de avaliação em escala populacional projetada para testar sistemas de IA e produtos digitais. O projeto visa resolver a dificuldade de escalar avaliações humanas tradicionais, permitindo que empresas testem a aceitação e o comportamento de usuários com perfis demográficos, psicológicos e comportamentais diversos antes do lançamento de novas tecnologias.
Os dados que compõem as personas foram extraídos de fontes como biografias da Wikipedia, históricos de avaliações da Amazon e pesquisas sociais, garantindo uma representação heterogênea. Ao simular interações em ambientes de chat, web e aplicativos, o MatrAIx consegue medir métricas como tolerância à latência, sensibilidade a preços e resiliência de usuários diante de falhas de assistentes virtuais.
Comentários
Carregando comentários...
