Cognition lança FrontierCode 1.1 para avaliar agentes de IA

FrontierCode 1.1

Versão refinada do FrontierCode, publicada em 7 de julho de 2026, com três mudanças. (1) Uso justo da internet: um prompt separa consulta legítima (documentação, referências de API) de uso que possa revelar a solução, e um verificador zera as runs que abrem o diff do PR de origem ou espelhos com a solução; a Cognition afirma que a taxa de uso indevido fica abaixo de 1% para todos os modelos avaliados. (2) Critérios de avaliação: das mais de 1.000 regras de bloqueio, 75 consideradas excessivamente rígidas foram rebaixadas a não-bloqueantes. (3) O subconjunto Diamond foi descontinuado, porque não reflete mais as 50 tarefas mais difíceis e seu resultado é ruidoso; daqui em diante, os resultados são reportados em Main (100 tarefas mais difíceis) e Extended (150). Os scores de Sonnet 5 e os de Fable 5 atualizados são divulgados junto. Segundo a empresa, a mudança altera os valores absolutos, mas não a ordem relativa dos modelos em relação à versão 1.0.