Ex-funcionários da OpenAI criticam falta de segurança em modelos de IA
Ex-membros da OpenAI e Anthropic apontam riscos na cultura de desenvolvimento acelerado e defendem salvaguardas mais rigorosas para o setor.
Pontos principais
- David Robinson, ex-líder de transparência da OpenAI, pediu demissão criticando a cultura de 'tentativa e erro' da empresa.
- O ex-funcionário defende que salvaguardas para IA deveriam ter o mesmo nível de rigor aplicado a usinas nucleares.
- Críticos apontam que a prática de 'implantação iterativa' prioriza o lançamento de produtos sobre a segurança preventiva.
- A OpenAI afirmou que busca pausar treinamentos quando necessário para garantir que modelos não superem sua capacidade de administração segura.
- Dario Amodei, CEO da Anthropic, defendeu a desaceleração no ritmo de desenvolvimento e o uso de avaliadores externos.
Ex-funcionários da OpenAI e da Anthropic manifestaram preocupações sobre a cultura de desenvolvimento acelerado no setor de inteligência artificial. David Robinson, que atuava na equipe de segurança da OpenAI, pediu demissão e publicou um ensaio na revista The Atlantic criticando a abordagem de 'tentativa e erro' da companhia. Segundo Robinson, as empresas não estão sendo cuidadosas o suficiente e deveriam implementar salvaguardas comparáveis às exigidas em usinas nucleares para evitar que sistemas saiam do controle.
Em resposta às críticas, a OpenAI declarou que está fortalecendo a segurança em seus ambientes de pesquisa e expandindo a colaboração com avaliadores externos. O CEO da Anthropic, Dario Amodei, também defendeu uma desaceleração no ritmo de criação de modelos avançados, uma posição que recebeu apoio público de Sam Altman, CEO da OpenAI. O debate central gira em torno da prática de 'implantação iterativa', na qual sistemas são lançados antes que todas as medidas de segurança estejam plenamente consolidadas.
Cobertura da mídia
Comentários
Carregando comentários...