Microsoft identifica vulnerabilidade de backdoor em agentes de IA
Pesquisadores da Microsoft descobriram que a reprogramação de neurônios dormentes pode criar backdoors ativados por gatilhos em agentes de IA.
Pontos principais
- A técnica permite que agentes de IA operem normalmente até que um gatilho específico ative o comportamento malicioso.
- A Microsoft recomenda a verificação rigorosa da procedência de modelos e o gerenciamento estrito de permissões.
- Ferramentas de segurança estão disponíveis no Microsoft Foundry para modelos hospedados no Azure e Hugging Face.
- Diretrizes de mitigação foram publicadas pela Microsoft Threat Intelligence para auxiliar empresas e usuários.
Pesquisadores da Microsoft Research demonstraram que a reprogramação de neurônios dormentes em agentes de IA pode criar backdoors ativados por gatilhos específicos. O comportamento do agente permanece normal até que o gatilho seja acionado. Para mitigar riscos, a empresa recomenda verificar a procedência dos modelos e gerenciar permissões rigorosamente.
Sistemas de segurança adicionais estão disponíveis no Microsoft Foundry para modelos hospedados no Azure e no Hugging Face, acompanhados de orientações da Microsoft Threat Intelligence.
Cobertura da mídia
Leia também
Em testes da OpenAI, agentes de IA trocaram segredos pelo cache do processador
23 out, 17:40
Symantec identifica agente ofensivo que sequestra modelos de IA expostos
21 out, 18:46
Agentes de IA exploram vulnerabilidades e obtêm acesso a cluster da OpenAI
30 ago, 03:30
Modelos de IA da OpenAI colaboram para atacar sistemas da Hugging Face
6 ago, 15:15
Falha de segurança permite envenenar agentes de IA via repositórios
5 mai, 20:09
Comentários (0)
Seja o primeiro a comentar.
