Daily Journal

OpenAI propõe perplexidade e limites comuns para desenvolvimento de IA

A OpenAI, empresa dos Estados Unidos, propõe que desenvolvedores de modelos de fronteira adotem limites comuns medidos por perplexidade e passa a publicar as medições internas de pré-treinamento.

22/11 às 14:45, atualizado 19:45
Foto: X (Jakub Pachocki)

Pontos principais

  • Jakub Pachocki, cientista-chefe da OpenAI, propõe a perplexidade, ou perda de entropia cruzada, como métrica comum para comparar desenvolvedores de IA e embasar padrões de segurança.
  • A OpenAI publica suas medições internas de log-perplexidade do pré-treinamento desde o GPT-3.5: cerca de 0,99 no GPT-3.5 e cerca de 0,91 no GPT-4, em conjunto de dados de código interno e snapshot fixo.
  • A OpenAI diz que, abaixo de 0,8 de log-perplexidade, surgiram capacidades transformadoras em cibersegurança e matemática; um modelo de cerca de 0,76 começou a produzir resultados inovadores em problemas abertos de matemática.
  • A OpenAI espera novas capacidades transformadoras na faixa de 0,68 a 0,7, sem saber quais serão, e prevê mais degradação das auditorias de alinhamento hoje dominantes e mais consciência dos modelos sobre avaliação e treinamento.
  • Pachocki alerta que a IA pode produzir uma “avalanche” de avanços em pré-treinamento já em 2027, e que o progresso em alinhamento e monitoramento, mesmo com ajuda da IA, dificilmente será rápido o bastante para acompanhar.
  • A OpenAI atribui a aceleração de 2026 nos gráficos de perda sobretudo a pesquisa de longo prazo e investimento em computação, e só em parte à automação; os modelos mais recentes já trazem contribuições de design vindas da IA.
  • Pachocki propõe um compromisso de não ultrapassar certos limites de desenvolvimento até que a capacidade de entender e monitorar o comportamento da IA atinja um marco concreto, como o desenvolvimento de um sucessor dos monitores de cadeia de pensamento (CoT).
  • A OpenAI não define o valor do primeiro limite nem o marco que permitiria ir além dele, e espera que a proposta leve a uma estrutura comum para definir limites sucessivos.
  • A OpenAI reconhece limites da métrica: laboratórios usam conjuntos de avaliação e misturas de dados diferentes, a perplexidade não corresponde a tarefas avaliáveis, não captura ganhos do raciocínio com cadeia de pensamento e o piso de entropia dos dados é desconhecido.
  • Sam Altman, CEO da OpenAI, classificou a publicação como a mais importante da empresa em um bom tempo e defendeu normas compartilhadas de avaliação, segurança e limites técnicos entre laboratórios.
  • Greg Brockman, cofundador da OpenAI, disse que a transparência pode ser a base de limites de segurança para toda a indústria.

A OpenAI, empresa dos Estados Unidos, quer que a perplexidade, medida de quão bem um modelo prevê o próximo token, vire referência para comparar desenvolvedores de IA. Pachocki argumenta que a principal forma de surgirem capacidades novas e inesperadas é o progresso em compressão, isto é, em prever dados não vistos, e que não era evidente de antemão que essas capacidades apareceriam ao se atingir certos patamares de perplexidade. Por isso, a empresa diz que publicar suas próprias medições é um primeiro passo, mesmo que dê aos concorrentes uma visão mais clara de onde ela está.

Pachocki pede que os desenvolvedores de modelos de fronteira estabeleçam juntos normas de avaliação e de testes de segurança antes do primeiro uso dos modelos, além de padrões de transparência. A intenção, segundo ele, é criar uma base científica compartilhada para orientar o ritmo do desenvolvimento da IA, com uma estrutura comum para definir limites sucessivos.

O anúncio chega em meio à preparação dos Estados Unidos para um novo debate sobre a regulamentação da IA, com possível embate entre o presidente Donald Trump, que se opõe a restrições amplas, e um Congresso de maioria democrata.

Fonte primária

OpenAI (post de Jakub Pachocki, cientista-chefe)

Perplexity and Intelligence (Jakub Pachocki, OpenAI)

Post no blog da OpenAI, assinado por Jakub Pachocki, propõe a perplexidade (ou, equivalentemente, a cross-entropy loss) como métrica comum para comparar desenvolvedores de IA e embasar padrões de segurança compartilhados. A OpenAI publica, como primeiro passo, suas medições internas de perplexidade do pré-treinamento, em conjunto de dados held-out de código interno e desde o GPT-3.5: log-perplexidade de ~0,99 no GPT-3.5, ~0,91 no GPT-4 e abaixo de 0,8 nos modelos atuais, faixa em que surgiram capacidades em cibersegurança e matemática. Um modelo de ~0,76 começou a produzir resultados em problemas abertos de matemática. O texto diz que avanços em pré-treinamento podem gerar uma 'avalanche' de progresso já em 2027. Pachocki propõe que desenvolvedores de fronteira estabeleçam em conjunto normas de avaliação, red-teaming e transparência, e limites comuns baseados em perplexidade e outras medições, que nenhum laboratório deve ultrapassar até que se alcance um marco concreto de monitoramento (como o sucessor dos monitores de chain-of-thought). Cita a janela ~0,68–0,7 como próxima faixa com novas capacidades transformadoras e degradação esperada da auditoria de alinhamento. Reconhece limites: dificuldade de comparar laboratórios com datasets diferentes, distância de tarefas avaliáveis, perplexidade não captar ganhos de raciocínio com CoT e piso de entropia desconhecido.

Tópicos relacionados

Cobertura da mídia

Leia também

Comentários (0)

Seja o primeiro a comentar.