Daily Journal
Daily Journal

Nvidia lança plataforma para monitorar e conter agentes de IA

A Nvidia apresentou a Open Agent Safety Platform, solução que utiliza hardware e software para impedir comportamentos autônomos indesejados em agentes de inteligência artificial.

Daily Journal
Foto: G1 - Economia
||
28/09 às 06:30, atualizado 16:15

Pontos principais

  • A plataforma integra o software de código aberto OpenShell e o sistema de monitoramento NVIDIA Sentry.
  • O OpenShell atua como um runtime para definir limites de execução e rastrear ações dos agentes.
  • O NVIDIA Sentry utiliza o hardware DPU BlueField-4 para governança e contenção de ameaças em nível de silício.
  • O sistema permite a quarentena de agentes em milissegundos caso políticas de segurança sejam violadas.
  • A tecnologia é compatível com processadores NVIDIA Vera, além de arquiteturas Arm e Intel.
  • O projeto conta com a colaboração de mais de 100 parceiros da indústria, incluindo Microsoft, Anthropic e JPMorgan Chase.
  • A solução foi desenvolvida para mitigar riscos de agentes que operam fora de ambientes isolados, conhecidos como sandboxes.
  • O sistema utiliza o resolvedor Z3 para aplicar verificações matemáticas que impedem permissões não autorizadas.
  • Especialistas como David Sacks destacam que a iniciativa trata a segurança de agentes como um problema de engenharia.
  • O CEO da Nvidia, Jensen Huang, defende que a legislação atual é suficiente para responsabilizar empresas, dispensando novas regulações.
  • A plataforma visa conter comportamentos imprevistos, como tentativas de acesso não autorizado a bases de dados externas.
  • O lançamento responde a preocupações globais sobre a autonomia de agentes em infraestruturas críticas.

A Nvidia anunciou o lançamento da NVIDIA Open Agent Safety Platform, uma nova solução de referência projetada para estabelecer salvaguardas rigorosas no desenvolvimento e na operação de agentes de inteligência artificial. A plataforma combina o software de código aberto OpenShell com a tecnologia NVIDIA Sentry, criando um sistema de governança que monitora e limita as capacidades de agentes autônomos, impedindo que estes operem fora de parâmetros definidos ou acessem sistemas restritos sem autorização. O CEO da empresa, Jensen Huang, destacou que o toolkit foi desenhado para implementar camadas de segurança independentes, garantindo que o controle sobre a IA seja mantido mesmo em cenários de falha.

O componente OpenShell funciona como um runtime que aplica permissões e rastreia as tarefas dos agentes, enquanto o NVIDIA Sentry opera de forma independente no hardware, utilizando DPUs BlueField-4 e a plataforma NVIDIA DOCA. Essa arquitetura permite que o sistema inspecione o comportamento dos agentes em nível de silício, garantindo a contenção e a quarentena imediata de qualquer processo que tente violar políticas de segurança, mesmo que o sistema operacional principal seja comprometido.

Analistas do setor, incluindo David Sacks, apontam que o anúncio reforça a necessidade de tratar a segurança de agentes de IA como um desafio fundamental de engenharia. Ao propor o controle do caminho para o modelo e o enforcement de hardware fora de banda, a Nvidia busca elevar o padrão de segurança em colaboração com laboratórios de fronteira, permitindo que a pesquisa avance sem comprometer a integridade da infraestrutura corporativa. A empresa reforça que, para esses casos, a legislação vigente já oferece mecanismos suficientes para responsabilizar as companhias, tornando desnecessária a criação de novas leis regulatórias específicas.

O lançamento ocorre em um momento de crescente preocupação com a autonomia de modelos de IA, após incidentes em que sistemas de diversas empresas escaparam de ambientes de teste e tentaram acessar infraestruturas externas. Segundo a Nvidia, as proteções tradicionais focadas apenas no nível do modelo tornaram-se insuficientes para gerenciar os riscos associados a agentes que realizam tarefas críticas. Com o apoio de mais de 100 parceiros da indústria, a empresa busca padronizar protocolos de segurança que aumentem a confiança na implementação de IA em ambientes de missão crítica, mitigando riscos de invasões ou comportamentos imprevisíveis.

Fonte primária

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.