Professor de Stanford propõe método 'priced guidance' para avaliar LLMs
O conceito utiliza diálogos entre modelos para estimar a probabilidade de geração de conteúdos inéditos após a data de corte de treinamento.
Pontos principais
- O método 'priced guidance' estabelece um limite inferior para a probabilidade de um modelo gerar documentos novos.
- A técnica envolve um diálogo entre o modelo avaliado, como o Astra, e um guia LLM com acesso ao conteúdo.
- O processo mede com precisão a quantidade de bits de informação transmitidos do guia para o modelo.
- A proposta visa oferecer uma nova métrica de avaliação para modelos de IA de fronteira.
O professor Percy Liang, da Universidade de Stanford, apresentou o conceito de 'priced guidance' como uma nova metodologia para avaliar modelos de linguagem de fronteira. A técnica busca estimar a probabilidade de um modelo gerar conteúdos específicos criados após sua data de corte de treinamento, superando as limitações da amostragem tradicional.
O método baseia-se em um diálogo estruturado entre o modelo avaliado e um guia LLM que possui acesso ao documento em questão. Durante esse processo, o sistema contabiliza precisamente os bits de informação transmitidos do guia para o modelo, permitindo estabelecer um limite inferior para a capacidade de geração de dados inéditos.
Comentários
Carregando comentários...