OpenAI lança LifeVal para medir desempenho de IA em tarefas cotidianas

LifeVal: Measuring AI progress on the tasks that matter in everyday life

A OpenAI apresenta o LifeVal, avaliação de tarefas do dia a dia que a empresa diz ter usado para medir e direcionar a evolução dos modelos nos últimos doze meses. As tarefas partem de dois grandes estudos de uso do tempo (American Time Use Survey e Multinational Time Use Study) e de uma pesquisa nova com 3.995 respondentes demograficamente representativos, que perguntou em quais áreas as pessoas mais queriam ajuda de um assistente pessoal: cuidado com familiares, saúde, educação, administração doméstica, finanças pessoais, compras e acesso a serviços públicos. Exemplos publicados, com a pontuação do modelo: matrícula de criança em pré-escola após mudança (93,1%), organização de voluntários antes de enchente (98,0%), compra de imóvel dentro do orçamento com escritura adicionada ao carrinho (100%), setup para assistir a jogo remotamente com a avó (96,3%) e plano de cuidado e refeições para pai com diabetes recém-diagnosticado (90,4%). Segundo a empresa, os modelos mais recentes pontuam muito alto em muitas tarefas do LifeVal; a tabela de melhores resultados, do modelo GPT‑6 Astra, traz 100% em tarefas como agendar inspeção de carro antes de viagem, pedir compras de mercado dentro de orçamento e cancelar listas de e-mail. A OpenAI atribui o avanço a treinamento recente em uso de navegador, uso de computador e conectores, e afirma que o objetivo é medir se modelos conseguem ajudar pessoas a decidir, administrar responsabilidades e concluir coisas concretas, e não apenas acertar questões acadêmicas.