Agente de IA da Cline atinge SOTA em benchmark de codificação
O modelo Kimi K3 otimizou seu próprio ambiente de trabalho, alcançando 88,8% de precisão no Terminal-Bench 2.1 com redução de custos.
Pontos principais
- O experimento utilizou a técnica de autoaperfeiçoamento recursivo para otimizar o harness da Cline.
- O desempenho do modelo Kimi K3 subiu de 77,5% para 88,8% no benchmark Terminal-Bench 2.1.
- O processo de otimização foi concluído em 17 horas de execução autônoma, com intervenção humana mínima.
- O custo total da execução foi de US$ 49,80, superando resultados anteriores de modelos como Fable 5 e GPT-5.6 Terra.
- O agente realizou correções técnicas, incluindo ajustes em detecção de loops e gerenciamento de processos (pkill).
- A iniciativa demonstrou que modelos de linguagem podem realizar tarefas complexas de engenharia de software de forma independente.
A empresa Cline anunciou um avanço significativo no uso de agentes de IA para codificação, ao permitir que o modelo Kimi K3 realizasse um processo de autoaperfeiçoamento recursivo. Em vez de depender de engenheiros humanos para ajustar manualmente o ambiente de testes, o modelo utilizou um prompt de diretrizes para iterar sobre seu próprio código de suporte. O resultado foi uma pontuação de 88,8% no Terminal-Bench 2.1, igualando o recorde de estado da arte (SOTA) reportado pela Moonshot AI, desenvolvedora do Kimi.
O experimento destacou a eficiência operacional do método, reduzindo drasticamente o tempo e o custo de desenvolvimento. Enquanto otimizações manuais anteriores levavam semanas de trabalho humano, a execução autônoma durou 17 horas e custou menos de 50 dólares por rodada. A Cline afirmou que pretende adotar esse processo de autoaperfeiçoamento como um padrão para avaliar novos modelos de linguagem, sinalizando uma mudança na forma como agentes de IA são otimizados para tarefas complexas de programação.
Comentários
Carregando comentários...