Cognition lança FrontierCode 2.0 para avaliar modelos de IA em codificação
O novo benchmark testa a capacidade de modelos de IA em resolver tarefas de engenharia de software com especificações ambíguas.
Pontos principais
- O FrontierCode 2.0 utiliza prompts deliberadamente ambíguos para avaliar o julgamento dos modelos.
- O melhor desempenho registrado no benchmark foi de 45% de acerto.
- Opus 5.5 e GPT-6 Astra lideram o ranking, enquanto o GPT-6.1 Sol se destaca em eficiência de custo.
- Modelos de código aberto chineses e americanos pontuaram entre 3% e 17%.
- Tarefas foram criadas por mantenedores de repositórios open-source com auditorias de segurança.
A Cognition apresentou o FrontierCode 2.0, um benchmark voltado para medir a habilidade de modelos de IA em lidar com tarefas de engenharia de software que possuem especificações imprecisas. O teste utiliza prompts ambíguos para desafiar o julgamento dos sistemas, com o melhor modelo atingindo apenas 45% de aproveitamento.
Os modelos Opus 5.5 e GPT-6 Astra ocupam o topo da lista, enquanto o GPT-6.1 Sol é apontado como o mais eficiente em termos de custo. Em contrapartida, modelos de código aberto americanos e chineses apresentaram resultados inferiores, variando entre 3% e 17%. As tarefas foram desenvolvidas por mantenedores de projetos open-source e passaram por auditorias focadas em segurança e qualidade.
Cobertura da mídia
Leia também
Cognition lança FrontierCode 1.1 para avaliar agentes de IA
12 out, 16:40
Cognition integra modelo Claude Opus 5.5 ao agente Devin
22 set, 15:15
Cognition lança funcionalidade Fusion no Devin CLI
11 set, 13:40
Cognition lança modelo SWE-2 para engenharia de software
10 set, 12:40
Claude Fable 5 lidera benchmark de codificação autônoma MirrorCode
5 ago, 01:43
Comentários (0)
Seja o primeiro a comentar.