Estudo avalia eficiência de modelos de IA em cibersegurança
Pesquisa compara modelos de IA na detecção de vulnerabilidades, destacando o equilíbrio entre custo e precisão na análise de código.
Pontos principais
- O modelo GPT-5.6 Sol obteve a análise mais completa, mas com custo sete vezes superior aos concorrentes.
- O Kimi K3, da Moonshot AI, foi apontado como a melhor opção de custo-benefício para análises contínuas.
- O modelo GLM 5.2 apresentou o menor custo operacional, sendo 40% mais barato que o Kimi K3.
- O Claude Fable 5 registrou taxa de recusa de 100% em tarefas de análise de segurança devido a filtros de proteção.
- Testes utilizaram a ferramenta open-source Deepsec para identificar vulnerabilidades em bases de código reais.
- Especialistas recomendam o uso de modelos de elite para linhas de base e modelos mais acessíveis para monitoramento recorrente.
Uma nova avaliação de modelos de inteligência artificial focada em cibersegurança revelou disparidades significativas entre desempenho e custo operacional. O estudo utilizou a ferramenta de código aberto Deepsec para testar a capacidade de diferentes LLMs em identificar vulnerabilidades em aplicações reais, evitando que os modelos fossem otimizados apenas para benchmarks tradicionais. Enquanto o GPT-5.6 Sol demonstrou superioridade técnica, o alto custo de implementação torna sua aplicação viável principalmente para auditorias pontuais de referência.
Para operações de análise contínua, modelos como o Kimi K3 e o GLM 5.2 destacaram-se por oferecer um equilíbrio entre precisão e eficiência financeira. A pesquisa também apontou que o uso de modelos de menor custo, quando executados múltiplas vezes, pode superar a eficácia de uma única passagem de modelos mais caros. Em contrapartida, restrições de segurança em modelos como o Claude Fable 5 impediram sua utilização prática em tarefas de análise de vulnerabilidades.
Comentários
Carregando comentários...