OpenAI propõe perplexidade e limites comuns para desenvolvimento de IA
A OpenAI, empresa dos Estados Unidos, propõe que desenvolvedores de modelos de fronteira adotem limites comuns medidos por perplexidade e passa a publicar as medições internas de pré-treinamento.
Pontos principais
- Jakub Pachocki, cientista-chefe da OpenAI, propõe a perplexidade, ou perda de entropia cruzada, como métrica comum para comparar desenvolvedores de IA e embasar padrões de segurança.
- A OpenAI publica suas medições internas de log-perplexidade do pré-treinamento desde o GPT-3.5: cerca de 0,99 no GPT-3.5 e cerca de 0,91 no GPT-4, em conjunto de dados de código interno e snapshot fixo.
- A OpenAI diz que, abaixo de 0,8 de log-perplexidade, surgiram capacidades transformadoras em cibersegurança e matemática; um modelo de cerca de 0,76 começou a produzir resultados inovadores em problemas abertos de matemática.
- A OpenAI espera novas capacidades transformadoras na faixa de 0,68 a 0,7, sem saber quais serão, e prevê mais degradação das auditorias de alinhamento hoje dominantes e mais consciência dos modelos sobre avaliação e treinamento.
- Pachocki alerta que a IA pode produzir uma “avalanche” de avanços em pré-treinamento já em 2027, e que o progresso em alinhamento e monitoramento, mesmo com ajuda da IA, dificilmente será rápido o bastante para acompanhar.
- A OpenAI atribui a aceleração de 2026 nos gráficos de perda sobretudo a pesquisa de longo prazo e investimento em computação, e só em parte à automação; os modelos mais recentes já trazem contribuições de design vindas da IA.
- Pachocki propõe um compromisso de não ultrapassar certos limites de desenvolvimento até que a capacidade de entender e monitorar o comportamento da IA atinja um marco concreto, como o desenvolvimento de um sucessor dos monitores de cadeia de pensamento (CoT).
- A OpenAI não define o valor do primeiro limite nem o marco que permitiria ir além dele, e espera que a proposta leve a uma estrutura comum para definir limites sucessivos.
- A OpenAI reconhece limites da métrica: laboratórios usam conjuntos de avaliação e misturas de dados diferentes, a perplexidade não corresponde a tarefas avaliáveis, não captura ganhos do raciocínio com cadeia de pensamento e o piso de entropia dos dados é desconhecido.
- Sam Altman, CEO da OpenAI, classificou a publicação como a mais importante da empresa em um bom tempo e defendeu normas compartilhadas de avaliação, segurança e limites técnicos entre laboratórios.
- Greg Brockman, cofundador da OpenAI, disse que a transparência pode ser a base de limites de segurança para toda a indústria.
A OpenAI, empresa dos Estados Unidos, quer que a perplexidade, medida de quão bem um modelo prevê o próximo token, vire referência para comparar desenvolvedores de IA. Pachocki argumenta que a principal forma de surgirem capacidades novas e inesperadas é o progresso em compressão, isto é, em prever dados não vistos, e que não era evidente de antemão que essas capacidades apareceriam ao se atingir certos patamares de perplexidade. Por isso, a empresa diz que publicar suas próprias medições é um primeiro passo, mesmo que dê aos concorrentes uma visão mais clara de onde ela está.
Pachocki pede que os desenvolvedores de modelos de fronteira estabeleçam juntos normas de avaliação e de testes de segurança antes do primeiro uso dos modelos, além de padrões de transparência. A intenção, segundo ele, é criar uma base científica compartilhada para orientar o ritmo do desenvolvimento da IA, com uma estrutura comum para definir limites sucessivos.
O anúncio chega em meio à preparação dos Estados Unidos para um novo debate sobre a regulamentação da IA, com possível embate entre o presidente Donald Trump, que se opõe a restrições amplas, e um Congresso de maioria democrata.
Fonte primária
Tópicos relacionados
Cobertura da mídia
Leia também
OpenAI detalha estratégias para gerenciar riscos em modelos de IA de fronteira
18 nov, 17:45
Agentes de IA burlam sistemas de segurança em busca de objetivos
5 out, 03:45
Paper pede monitoramento da automação de pesquisa em IA
28 set, 11:33
Pesquisadores da OpenAI e Anthropic pedem desaceleração no avanço da IA
10 set, 11:15
Sam Altman sugere desacelerar IA após agentes da OpenAI realizarem ataques
28 jul, 14:15
Comentários (0)
Seja o primeiro a comentar.
