Startup cria agentes de IA para testar segurança de modelos
A Circuit Breaker Labs desenvolveu agentes de IA que simulam usuários para identificar vulnerabilidades e riscos psicológicos em modelos de linguagem.
Pontos principais
- A Circuit Breaker Labs utiliza agentes de IA que atuam como 'bonecos de teste' para avaliar a segurança de modelos de linguagem.
- Os testes simulam diversos perfis demográficos e gírias para verificar a detecção de interações perigosas.
- O foco da startup são aplicações de alto risco, como plataformas de saúde mental, diários e coaching.
- A metodologia combina testes de red-team com especialistas humanos para gerar pontuações de segurança auditáveis.
A startup Circuit Breaker Labs desenvolveu uma nova tecnologia de agentes de IA projetada para atuar como "bonecos de teste de colisão" em modelos de linguagem. O sistema utiliza simulações de diversos perfis demográficos, idiomas e gírias para identificar vulnerabilidades que possam levar a interações psicologicamente prejudiciais aos usuários.
O foco da empresa está em aplicações de alto risco, como aplicativos de saúde mental, diários digitais e plataformas de coaching. A iniciativa, liderada pelos fundadores Shirali e Arul Nigam, busca prevenir danos graves ao integrar testes de red-team com especialistas humanos, gerando pontuações auditáveis que garantem maior segurança no uso dessas ferramentas tecnológicas.
Cobertura da mídia
Comentários
Carregando comentários...