Claude Opus 5 lidera ranking de programação do ProgramBench
Modelo da Anthropic resolveu 4,5% das tarefas de reconstrução de software, superando modelos da OpenAI e Google em benchmark de codificação.
Pontos principais
- O Claude Opus 5 alcançou a primeira posição no ProgramBench ao resolver integralmente 9 das 200 tarefas propostas.
- O benchmark avalia a capacidade de LLMs reconstruírem programas complexos a partir de binários, sem acesso a código-fonte ou internet.
- O modelo da Anthropic atingiu 37% de aproveitamento na métrica 'quase resolvido', que considera soluções com ao menos 95% dos testes aprovados.
- O GPT-5.6 Sol, da OpenAI, ocupa a segunda posição com 1% de resoluções completas e 15,5% de taxa de quase resolução.
- O ProgramBench é uma iniciativa que envolve pesquisadores da Meta Superintelligence Labs, Stanford e Harvard.
- Os testes incluem desde utilitários de terminal até projetos de grande escala como SQLite e FFmpeg.
O modelo Claude Opus 5, desenvolvido pela Anthropic, estabeleceu um novo patamar de desempenho no benchmark ProgramBench, conforme dados atualizados em agosto de 2026. O sistema superou concorrentes ao resolver 4,5% das 200 tarefas de engenharia de software, superando o recorde anterior de 1% detido pelo GPT-5.6 Sol da OpenAI. O teste é considerado um dos mais rigorosos da área, exigindo que a inteligência artificial reconstrua programas inteiros apenas a partir de executáveis compilados e documentação técnica, em um ambiente de sandbox isolado.
Além da liderança em resoluções completas, o Opus 5 destacou-se na métrica de 'quase resolvido', alcançando 37% de sucesso em instâncias onde a solução atende a pelo menos 95% dos testes comportamentais ocultos. O ranking, que conta com a colaboração de instituições como Stanford, Harvard e Meta Superintelligence Labs, utiliza o mini-SWE-agent como base para garantir uma comparação padronizada entre os modelos, focando na capacidade real de arquitetura e implementação de código sem auxílio externo.
Comentários
Carregando comentários...