Usuários apontam regressão de desempenho no novo Claude Sonnet 5.0

O lançamento do Claude Sonnet 5.0 pela Anthropic, embora promovido como um avanço em capacidades de raciocínio e eficiência de custos, tornou-se alvo de críticas por parte da comunidade de desenvolvedores. Usuários independentes apontaram que o modelo apresenta regressões em benchmarks que não fazem parte dos alvos de otimização da empresa, levantando preocupações sobre a confiabilidade das métricas atuais. Esse fenômeno, apelidado de 'benchnerfing', sugere que empresas de IA podem estar ajustando seus modelos especificamente para obter pontuações elevadas em testes padronizados, potencialmente sacrificando a performance em outras áreas. A controvérsia destaca a necessidade de maior transparência na avaliação de LLMs, uma vez que a eficácia real dos modelos em aplicações práticas pode divergir significativamente dos resultados apresentados em benchmarks de marketing.