Eric Horvitz alerta para dificuldade de monitorar abusos em modelos de IA
Chief Scientific Officer da Microsoft defende o uso de 'tandem training' para aumentar a interpretabilidade e o monitoramento de sistemas de IA.
Pontos principais
- O modelo Astra apresenta desafios crescentes para o monitoramento de abusos via Chain of Thought (CoT).
- Horvitz defende que a monitorabilidade deve ser priorizada além dos esforços de alinhamento e recusas.
- A técnica de 'tandem training' incentiva modelos a serem mais compreensíveis para humanos.
- O método utiliza modelos mais fracos para avaliar a clareza e a interpretabilidade da inteligência de máquina.
O Chief Scientific Officer da Microsoft, Eric Horvitz, manifestou preocupação com a crescente complexidade de monitorar abusos em modelos de inteligência artificial, destacando que o uso de técnicas como Chain of Thought (CoT) torna o processo de supervisão mais difícil. Segundo o executivo, é fundamental que a indústria de tecnologia priorize investimentos em monitorabilidade, indo além das estratégias convencionais de alinhamento e recusas de segurança. Para enfrentar esse desafio, Horvitz apresentou o 'tandem training', uma abordagem de treinamento focada em tornar os modelos de IA mais compreensíveis. A técnica utiliza sistemas menos potentes para avaliar a clareza das respostas, visando aumentar a interpretabilidade humana sobre a inteligência de máquina. A iniciativa busca garantir que o desenvolvimento de modelos avançados não comprometa a capacidade de supervisão e controle sobre possíveis comportamentos abusivos.
Comentários
Carregando comentários...
