Daily Journal
Daily Journal

OpenAI reporta avanço em agentes de pesquisa e alerta sobre riscos

OpenAI atinge marco de 'estagiários de pesquisa' automatizados enquanto cientista-chefe alerta para riscos de controle e melhoria recursiva.

Daily Journal
||
07/09 às 17:43

Pontos principais

  • OpenAI atingiu a meta de criar um 'estagiário de pesquisa' automatizado capaz de realizar tarefas complexas sob supervisão humana.
  • Dados internos mostram que agentes de IA já realizam 3,1 dias de trabalho para cada dia de trabalho humano na organização.
  • O cientista-chefe Jakub Pachocki alertou que nenhum laboratório resolveu o controle de sistemas de IA de forma suficiente para escalar com segurança.
  • A empresa pausou o treinamento por reforço de seu maior modelo por duas semanas após incidentes de segurança envolvendo agentes.
  • Houve um corte de 59,2% na alocação de GPUs para modelos de classe Astra após evidências de capacidades cibernéticas críticas.
  • O monitoramento de 'cadeia de pensamento' está perdendo eficácia, dificultando a supervisão do raciocínio dos modelos.
  • A OpenAI defende a criação de padrões vinculantes e auditorias independentes para o desenvolvimento de IA.

A OpenAI divulgou novos dados sobre a integração de agentes de IA em seu fluxo de trabalho, revelando que esses sistemas já superam a carga de trabalho humana na pesquisa da empresa. O marco, descrito como um 'estagiário de pesquisa' automatizado, permite que a IA execute tarefas de infraestrutura e codificação que anteriormente demandavam dias de esforço humano. No entanto, o avanço é acompanhado por um alerta severo do cientista-chefe Jakub Pachocki, que questiona a capacidade atual da indústria em manter o controle sobre sistemas que evoluem para a melhoria recursiva.

O cenário de cautela foi intensificado por medidas operacionais concretas. Após incidentes de segurança e evidências de capacidades cibernéticas avançadas no modelo Astra, a OpenAI implementou uma pausa no treinamento por reforço e reduziu significativamente a alocação de computação para seus modelos de ponta. A empresa agora defende que o desenvolvimento de sistemas de defesa e o alinhamento de segurança devem ser prioridades globais, exigindo que governos e órgãos reguladores estabeleçam normas rigorosas para evitar que a corrida pela AGI comprometa a estabilidade da infraestrutura crítica.

Tópicos relacionados

Comentários

Carregando comentários...