STJ investiga tentativas de manipulação de IA por prompt injection
O STJ apura o uso de comandos maliciosos em petições para fraudar sistemas de IA, após casos similares serem registrados em tribunais trabalhistas.
Pontos principais
- O tribunal identificou 11 processos criminais com tentativas de manipulação via prompt injection.
- O presidente do STJ, Herman Benjamin, determinou a abertura de inquérito policial e administrativo.
- A técnica visa enganar a IA para que ignore normas de segurança ou forneça análises enviesadas.
- O sistema STJ Logos bloqueou as instruções maliciosas, impedindo a execução das ordens.
- O caso ganha repercussão após advogadas no Pará serem multadas por tentarem manipular a IA 'Galileu' em processo trabalhista.
- O CNJ recomendou a criação de um banco nacional de prompts para reforçar a segurança no Judiciário.
O Superior Tribunal de Justiça (STJ) instaurou inquéritos administrativos e criminais para investigar o uso de técnicas de prompt injection em petições eletrônicas. A prática consiste na inserção de comandos ocultos para manipular modelos de inteligência artificial, visando contornar filtros de admissibilidade ou obter decisões enviesadas. O presidente da corte, ministro Herman Benjamin, ordenou a apuração rigorosa, que inclui a análise da conduta de advogados e escritórios possivelmente envolvidos na tentativa de fraude em 11 processos criminais identificados pelo tribunal.
O debate sobre a integridade da automação no Judiciário ganhou força após episódios recentes em outras esferas, como o caso de advogadas no Pará multadas por tentarem manipular a IA 'Galileu' em um processo trabalhista, embora a defesa negue intenção de fraude. Apesar de o sistema STJ Logos ter bloqueado as instruções maliciosas, o Conselho Nacional de Justiça (CNJ) recomendou a criação de um banco nacional de prompts para padronizar defesas e mitigar vulnerabilidades em tribunais de todo o país. As investigações seguem em curso para identificar os responsáveis pelas tentativas de burlar os mecanismos de triagem processual.
Tópicos relacionados
Comentários
Carregando comentários...
