OpenAI lança BioBasicsBench para avaliar agentes de IA em laboratórios

Pontos principais

• A OpenAI desenvolveu o benchmark com a Ligo, empresa de biotecnologia focada em design de enzimas.
• As 100 tarefas usam dados de experimentos dos próprios cientistas, como géis, placas, microscopia, sequenciamento e vídeos de bancada, e cobrem cinco áreas: métodos de proteínas, imagem e citometria, quantificação e ensaios, métodos de ácidos nucleicos e clonagem molecular.
• Cada resposta recebe crédito por critérios individuais de uma rubrica, o que separa uma conclusão correta de uma análise parcialmente correta.
• Com raciocínio no nível xhigh, a OpenAI registra médias de 66,7% do crédito para o GPT-6 Astra, 62,0% para o GPT-6.1 Sol, 43,8% para o GPT-5.6 Sol e 31,2% para o GPT-5.2.
• Foram avaliados sete modelos em 37 configurações, com cinco tentativas por tarefa, totalizando 18.500 resultados.
• Em uma tarefa de clonagem, o GPT-5.6 Sol baseou sua conclusão na ausência de colônias na placa de controle negativo; o GPT-6 Astra percebeu que a placa estava rotulada com canamicina (LB Kan50), e não com a ampicilina usada no experimento, e a descartou como controle.
• Em uma PCR de colônias, o Astra supôs que o produto maior era o construto desejado e escolheu as colônias 4, 6, 7 e 8; a referência, que compara os controles, aponta as 5, 9 e 10, e a OpenAI diz que a escolha errada levaria à purificação do plasmídeo errado.
• Na contagem de colônias de uma placa, o Astra superestimou o total em cerca de 12%, ao não separar colônias vizinhas, deixar colônias visíveis sem marcar e marcar ágar vazio.