---
title: "Professor de Stanford propõe método 'priced guidance' para avaliar LLMs"
url: https://dailyjournal.news/news/2026-10-06/professor-de-stanford-propoe-metodo-priced-guidance-para-avaliar-llms
published: 2026-10-06T21:40:38.405063+00:00
updated: 2026-10-06T21:40:38.405063+00:00
categories: ["technology"]
source_count: 1
outlet_count: 0
language: pt-BR
publisher: "Daily Journal"
---

# Professor de Stanford propõe método 'priced guidance' para avaliar LLMs

O conceito utiliza diálogos entre modelos para estimar a probabilidade de geração de conteúdos inéditos após a data de corte de treinamento.

## Pontos principais

- O método 'priced guidance' estabelece um limite inferior para a probabilidade de um modelo gerar documentos novos.
- A técnica envolve um diálogo entre o modelo avaliado, como o Astra, e um guia LLM com acesso ao conteúdo.
- O processo mede com precisão a quantidade de bits de informação transmitidos do guia para o modelo.
- A proposta visa oferecer uma nova métrica de avaliação para modelos de IA de fronteira.

O professor Percy Liang, da Universidade de Stanford, apresentou o conceito de 'priced guidance' como uma nova metodologia para avaliar modelos de linguagem de fronteira. A técnica busca estimar a probabilidade de um modelo gerar conteúdos específicos criados após sua data de corte de treinamento, superando as limitações da amostragem tradicional.

O método baseia-se em um diálogo estruturado entre o modelo avaliado e um guia LLM que possui acesso ao documento em questão. Durante esse processo, o sistema contabiliza precisamente os bits de informação transmitidos do guia para o modelo, permitindo estabelecer um limite inferior para a capacidade de geração de dados inéditos.

## Fontes

- [@percyliang: What is the probability that Astra today can generate/forecast a particular new paper past its cutoff date? Naive sampling is intractable (tail probability is astronomically small)…](https://x.com/percyliang/status/2107578221378281491) (2026-10-06)

---

Publicado por Daily Journal. Versão HTML: https://dailyjournal.news/news/2026-10-06/professor-de-stanford-propoe-metodo-priced-guidance-para-avaliar-llms