Daily Journal
Daily Journal

Por que a mesma pergunta nunca dá a mesma resposta

Faça a mesma pergunta duas vezes pro ChatGPT e quase nunca vem o mesmo texto. Parece bug, mas é assim de propósito, e a explicação é mais estranha do que parece.

Daily Journal
Gráfico de barras de probabilidade com a barra do topo vencendo e um dado caindo, representando como o modelo sorteia a próxima palavra
Michael··

Faça a mesma pergunta duas vezes pro ChatGPT e dificilmente vem a resposta igual. Muda uma palavra, às vezes o texto inteiro. Parece bug, mas é de propósito.

Por baixo, o modelo nunca crava uma palavra de cara. Ele calcula a chance de cada palavra possível ser a próxima. Depois de "A capital do Brasil é", o que ele tem na mão é uma lista: Brasília com 92%, Rio com 4%, uma com 2%, e assim por diante. Essa conta dá sempre no mesmo. Mesma frase entrando, mesma lista saindo.

A variação vem no passo seguinte. Em vez de cravar a palavra do topo, o sistema sorteia uma respeitando esses pesos. Brasília sai quase toda vez. De vez em quando o sorteio cai em outra. É proposital: um modelo que vai sempre na mais provável escreve seco e repetitivo, então deixam um tanto de sorte entrar pra soltar o texto.

Dá pra regular essa dose de sorte. O controle mais conhecido é a temperatura. Baixa, o modelo joga seguro, quase sempre na aposta óbvia. Alta, ele arrisca palpite improvável e às vezes delira. Mesmo modelo, régua de risco diferente.

Aqui tem uma esquisitice. Você pode zerar a temperatura, mandar pegar sempre a palavra mais provável, e mesmo assim a resposta muda de uma vez pra outra. A raiz é uma teimosia dos números de ponto flutuante, o jeito que o computador representa decimais: somar na ordem diferente dá resultado diferente. Não é acaso, é determinístico e dá pra reproduzir na mão:

(0.1 + 1e20) - 1e20  =  0
0.1 + (1e20 - 1e20)  =  0.1

Mesmos três números, só mudei os parênteses, e o resultado pula de 0 pra 0.1. O ponto flutuante guarda um número fixo de casas, então somar um valor minúsculo a um gigante engole o minúsculo. Mude a ordem e ele sobrevive.

É aí que entra o ChatGPT. Seu pedido não roda sozinho, ele cai num lote junto com o de milhares de pessoas, e o tamanho desse lote muda conforme quanta gente está usando o serviço naquele segundo. Lote de tamanho diferente faz o servidor somar as contas numa ordem diferente, e quando duas palavras estão quase empatadas é esse fiapo que decide qual ganha, jogando a frase inteira pro outro lado. A Thinking Machines mostrou em setembro de 2025 que o culpado é esse, não o "acaso da GPU" que muita gente repete. Dá pra eliminar, forçando o servidor a sempre somar na mesma ordem não importa o lote, mas quase ninguém faz porque deixa tudo mais lento.

No fundo são dois acasos diferentes morando no mesmo lugar. Um é escolha de projeto, o sorteio da próxima palavra, ligado de propósito. O outro nem foi escolhido: é o que sobra de rodar essa conta toda em hardware real, sob carga real.

Por isso não dá pra usar essas ferramentas como oráculo que devolve a verdade sempre igual. É uma máquina de probabilidade. Boa aposta, não certeza, e parte da imprevisibilidade tá no próprio funcionamento dela.

Comentários

Carregando comentários...