Faça a mesma pergunta duas vezes pro ChatGPT e você quase nunca recebe a resposta idêntica. Às vezes muda uma palavra. Às vezes o texto inteiro vai pra outro lado. A primeira reação de quase todo mundo é achar que é defeito. Não é. É de propósito.
A parte que quase ninguém conta é essa: o modelo não escolhe palavras, ele aposta nelas. A cada passo faz só uma coisa, calcular a probabilidade da próxima palavra. Depois de "A capital do Brasil é", ele não pensa "Brasília". Ele monta uma lista: Brasília 92%, Rio 4%, uma 2%, e por aí vai, pro vocabulário inteiro.
Essa parte é previsível. Mesma entrada, mesmas probabilidades, sempre. Se o sistema só pegasse a palavra do topo toda vez, responderia igual a uma calculadora.
O que muda tudo vem depois. Em vez de pegar sempre a campeã, o sistema sorteia uma palavra respeitando essas probabilidades. Brasília quase sempre sai. Mas de vez em quando o dado cai noutra casa. Isso é ligado de caso pensado, porque um modelo que vai sempre no mais provável escreve texto seco, repetitivo, robótico. O acaso é o que deixa a coisa fluida.
Quem constrói esses sistemas tem botões pra dosar essa sorte. O principal é a temperatura. Baixa, o modelo fica conservador, na aposta segura. Alta, ele dá corda pros azarões e às vezes viaja. É o mesmo modelo, só com a régua de risco mudada.
Agora a parte que me pega. Você pode zerar a temperatura, forçar ele a pegar sempre a palavra mais provável, e mesmo assim a resposta muda. Como assim?
É que o computador faz contas com números de precisão finita, e a ordem dessas contas muda conforme o servidor organiza o trabalho naquele instante. Somar os mesmos números em ordem diferente pode dar um resultado minimamente diferente. Quando duas palavras estão quase empatadas, é esse arredondamento que decide quem ganha. E o seu pedido ainda roda em lote, junto com o de milhares de outras pessoas, num lote que muda toda hora.
Ou seja, são dois acasos diferentes. Um é escolha de projeto, controlável e até útil. O outro é só física: o preço de rodar matemática nessa escala. Esse segundo nem os engenheiros eliminam fácil, virou tema de pesquisa de ponta em 2025.
Fico pensando que talvez seja essa a imagem certa pra lidar com essas ferramentas. Elas não são oráculo. Não devolvem uma verdade fixa, pronta, sempre igual. São máquinas de probabilidade. Boas no que fazem, e um pouco imprevisíveis pela própria natureza.