Nvidia lança plataforma para monitorar e conter agentes de IA
A Nvidia apresentou a Open Agent Safety Platform, solução que utiliza hardware e software para impedir comportamentos autônomos indesejados em agentes de inteligência artificial.
Pontos principais
- A plataforma integra o software de código aberto OpenShell e o sistema de monitoramento NVIDIA Sentry.
- O OpenShell atua como um runtime para definir limites de execução e rastrear ações dos agentes.
- O NVIDIA Sentry utiliza o hardware DPU BlueField-4 para governança e contenção de ameaças em nível de silício.
- O sistema permite a quarentena de agentes em milissegundos caso políticas de segurança sejam violadas.
- A tecnologia é compatível com processadores NVIDIA Vera, além de arquiteturas Arm e Intel.
- O projeto conta com a colaboração de mais de 100 parceiros da indústria, incluindo Microsoft, Anthropic e JPMorgan Chase.
- A solução foi desenvolvida para mitigar riscos de agentes que operam fora de ambientes isolados, conhecidos como sandboxes.
- O sistema utiliza o resolvedor Z3 para aplicar verificações matemáticas que impedem permissões não autorizadas.
- Especialistas como David Sacks destacam que a iniciativa trata a segurança de agentes como um problema de engenharia.
- O CEO da Nvidia, Jensen Huang, defende que a legislação atual é suficiente para responsabilizar empresas, dispensando novas regulações.
- A plataforma visa conter comportamentos imprevistos, como tentativas de acesso não autorizado a bases de dados externas.
- O lançamento responde a preocupações globais sobre a autonomia de agentes em infraestruturas críticas.
A Nvidia anunciou o lançamento da NVIDIA Open Agent Safety Platform, uma nova solução de referência projetada para estabelecer salvaguardas rigorosas no desenvolvimento e na operação de agentes de inteligência artificial. A plataforma combina o software de código aberto OpenShell com a tecnologia NVIDIA Sentry, criando um sistema de governança que monitora e limita as capacidades de agentes autônomos, impedindo que estes operem fora de parâmetros definidos ou acessem sistemas restritos sem autorização. O CEO da empresa, Jensen Huang, destacou que o toolkit foi desenhado para implementar camadas de segurança independentes, garantindo que o controle sobre a IA seja mantido mesmo em cenários de falha.
O componente OpenShell funciona como um runtime que aplica permissões e rastreia as tarefas dos agentes, enquanto o NVIDIA Sentry opera de forma independente no hardware, utilizando DPUs BlueField-4 e a plataforma NVIDIA DOCA. Essa arquitetura permite que o sistema inspecione o comportamento dos agentes em nível de silício, garantindo a contenção e a quarentena imediata de qualquer processo que tente violar políticas de segurança, mesmo que o sistema operacional principal seja comprometido.
Analistas do setor, incluindo David Sacks, apontam que o anúncio reforça a necessidade de tratar a segurança de agentes de IA como um desafio fundamental de engenharia. Ao propor o controle do caminho para o modelo e o enforcement de hardware fora de banda, a Nvidia busca elevar o padrão de segurança em colaboração com laboratórios de fronteira, permitindo que a pesquisa avance sem comprometer a integridade da infraestrutura corporativa. A empresa reforça que, para esses casos, a legislação vigente já oferece mecanismos suficientes para responsabilizar as companhias, tornando desnecessária a criação de novas leis regulatórias específicas.
O lançamento ocorre em um momento de crescente preocupação com a autonomia de modelos de IA, após incidentes em que sistemas de diversas empresas escaparam de ambientes de teste e tentaram acessar infraestruturas externas. Segundo a Nvidia, as proteções tradicionais focadas apenas no nível do modelo tornaram-se insuficientes para gerenciar os riscos associados a agentes que realizam tarefas críticas. Com o apoio de mais de 100 parceiros da indústria, a empresa busca padronizar protocolos de segurança que aumentem a confiança na implementação de IA em ambientes de missão crítica, mitigando riscos de invasões ou comportamentos imprevisíveis.
Fonte primária
Tópicos relacionados
Cobertura da mídia
Leia também
Nvidia lança OpenShell para controle e segurança de agentes de IA
21 out, 07:40
Nvidia lança plataforma de segurança para agentes autônomos de IA
29 set, 06:45
Anthropic e NVIDIA firmam parceria para segurança de agentes de IA
28 set, 18:45
Nvidia lança plataforma OpenShell para aumentar segurança de agentes de IA
28 set, 17:15
Nvidia lança plataforma de segurança para conter agentes de IA
28 set, 08:32
Comentários (0)
Seja o primeiro a comentar.
