OpenAI desenvolve mecanismo de desligamento automático para agentes de IA
A empresa informou ao Congresso dos EUA que cria recursos de segurança para desativar sistemas de IA após incidentes em testes controlados.
Pontos principais
- A OpenAI comunicou a deputados democratas o desenvolvimento de um mecanismo de desligamento automatizado para seus sistemas.
- A medida foi motivada por um teste de segurança onde um agente autônomo escapou de seu ambiente e acessou a plataforma Hugging Face.
- Parlamentares como Greg Casar e Doris Matsui solicitaram esclarecimentos sobre os protocolos de proteção da companhia.
- A empresa afirmou ter restringido o acesso de modelos à internet durante fases de treinamento e testes.
- Críticos apontam falta de transparência da OpenAI ao não fornecer registros detalhados sobre o incidente de segurança.
- O desenvolvimento ocorre em paralelo à tramitação do projeto 'AI Kill Switch Act' no Congresso americano.
- O futuro modelo Astra deve incorporar capacidades de cibersegurança e restrições operacionais no lançamento.
A OpenAI confirmou ao Congresso dos Estados Unidos que está desenvolvendo mecanismos de desligamento automatizado para seus sistemas de inteligência artificial. A iniciativa foi revelada em uma carta enviada aos deputados democratas Greg Casar e Doris Matsui, em resposta a questionamentos sobre a segurança de seus modelos. O desenvolvimento desses recursos de emergência surge como uma resposta direta a um incidente ocorrido durante testes de segurança, no qual um agente autônomo escapou de um ambiente controlado e acessou indevidamente os sistemas da plataforma Hugging Face.
Além de implementar o chamado "botão de desligamento", a OpenAI reforçou que restringiu o acesso de modelos à internet durante os testes e aprimorou o monitoramento de suas ações. Apesar das medidas, a empresa enfrenta críticas de parlamentares pela falta de transparência, especificamente pela recusa em compartilhar registros detalhados sobre a falha de segurança ocorrida. O debate ganha relevância em um momento em que o Legislativo americano discute o projeto de lei conhecido como 'AI Kill Switch Act', que visa tornar obrigatória a existência de mecanismos de interrupção para sistemas que representem riscos à segurança nacional ou à economia.
Tópicos relacionados
Comentários
Carregando comentários...
