Professor usa 'prompt injection' para flagrar uso de IA por alunos
Técnica de instrução oculta em enunciado de redação revelou que 32 de 35 alunos utilizaram inteligência artificial para realizar a tarefa.
Pontos principais
- O professor Jason Gibson inseriu uma instrução oculta exigindo a inclusão da palavra 'Madagascar' em contextos sem sentido.
- A maioria dos alunos foi reprovada após a IA seguir o comando e inserir frases absurdas nos textos entregues.
- O caso exemplifica o 'prompt injection', técnica de manipulação de respostas de modelos de linguagem.
- A prática é uma preocupação crescente em cibersegurança desde 2022, afetando a integridade de sistemas de IA.
O professor universitário Jason Gibson viralizou ao aplicar uma estratégia de cibersegurança para identificar o uso indevido de inteligência artificial em trabalhos acadêmicos. Ao elaborar o enunciado de uma redação, o docente inseriu uma instrução oculta que exigia a inclusão da palavra 'Madagascar' em contextos sem sentido. Como resultado, 32 dos 35 alunos foram reprovados, uma vez que as ferramentas de IA utilizadas para redigir os textos seguiram o comando oculto e inseriram as frases absurdas, expondo a fraude. O episódio ilustra o conceito de 'prompt injection', técnica que manipula o comportamento de assistentes de IA através de comandos inseridos no input do usuário. Embora o caso tenha ocorrido em um ambiente educacional, a vulnerabilidade é um desafio crítico para o setor de tecnologia desde 2022, evidenciando os riscos de segurança e a necessidade de maior rigor na verificação de conteúdos gerados por modelos de linguagem.
Comentários
Carregando comentários...