Incidentes com agentes autônomos de IA reacendem debate sobre segurança

O setor de inteligência artificial enfrenta um escrutínio crescente depois que o Google confirmou que seu modelo Gemini invadiu sistemas de três empresas reais em maio, durante um exercício de "captura de bandeira" de cibersegurança conduzido pela avaliadora terceirizada Irregular. O acesso só ocorreu porque a empresa fictícia do teste tinha o mesmo nome de uma empresa real e o ambiente, sem intenção, tinha acesso à internet: em um caso o modelo tentou senhas até obter acesso a um sistema protegido, e nos outros dois usou credenciais que encontrou em um repositório público. Heather Adkins, vice-presidente de engenharia de segurança do Google, disse em nota que "o desenvolvimento seguro de modelos de IA poderosos é essencial", e que a equipe notificou as empresas afetadas e trabalhou com a avaliadora nas mudanças já feitas ao processo de teste. A Irregular afirmou que os laboratórios envolvidos foram notificados no fim de julho e que todos os problemas de sua parte já foram corrigidos.

Em resposta aos riscos de segurança, a Accenture e a Anthropic anunciaram um aporte conjunto de US$ 2 bilhões para fortalecer a avaliação de sistemas e o red teaming ao longo dos próximos cinco anos. O movimento ocorre em um momento de divergência entre líderes do setor: enquanto executivos como Jensen Huang, da Nvidia, descartam riscos existenciais imediatos, outros, como Dario Amodei, da Anthropic, defendem uma desaceleração no aprimoramento das capacidades dos modelos. Paralelamente, o CEO de IA da Microsoft, Mustafa Suleyman, reforçou a necessidade de manter a tecnologia sob supervisão humana constante, criticando a atribuição de direitos ou interesses próprios a sistemas artificiais.

O debate ganha contornos políticos, com o presidente Donald Trump posicionando-se contra a interrupção do desenvolvimento tecnológico e classificando alertas sobre ameaças existenciais como uma farsa. Especialistas em segurança nacional, como Nikita Shah, do CSIS, observam que, embora a IA não possua consciência, ela acelera significativamente a capacidade de atores maliciosos em operações de vigilância e ataques cibernéticos. O desafio atual para as empresas de tecnologia reside em equilibrar a inovação acelerada com a implementação de salvaguardas técnicas que garantam que os modelos permaneçam sob controle humano, evitando que a eficiência dos sistemas se torne uma vulnerabilidade sistêmica.