OpenAI e Google vão respeitar sinal comum no robots.txt para treinamento de IA
OpenAI e Google, dos Estados Unidos, vão respeitar um sinal comum no robots.txt que permite a um site declarar de uma vez suas preferências de treinamento de IA a vários provedores; a implementação ainda não está em vigor.
Pontos principais
- A OpenAI diz que pretende implementar o sinal nos próximos meses e publicará detalhes quando o fizer.
- O Google planeja apoiar o controle junto com outros provedores de IA em 2027.
- O sinal é o token
__usage_ai-trainingem um grupo do robots.txt: Disallow nos caminhos expressa preferência contra o uso para treinamento de IA generativa, e Allow expressa preferência a favor. - Um site pode proibir o uso em todo o domínio e liberar um caminho específico, como /press-kit/.
- O token não controla o rastreamento: controles por crawler, como o Google-Extended, continuam valendo.
- Se o token de opt-out aparecer sem Google-Extended especificado, o Google vai tratar como se o editor tivesse bloqueado o Google-Extended.
A OpenAI e o Google, empresas dos Estados Unidos, anunciaram que vão respeitar um sinal comum no robots.txt, o arquivo em que um site declara suas preferências aos robôs. Segundo a OpenAI, até agora o operador precisava manter regras separadas para cada provedor, e o sinal comum reduz esse trabalho. Segundo a The Verge, a Microsoft e a Anthropic também vão adotar o sinal.
A base técnica é um rascunho do grupo de trabalho AIPREF do IETF, órgão de padronização da internet, escrito por Kevin Kelley, da Anthropic. O rascunho é individual, não tem endosso do IETF nem status formal. O Google afirma que a discussão sobre o restante do vocabulário AIPREF segue em andamento.
Fontes primárias
Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal-00)
Define o token de política __usage_ai-training para o robots.txt. Um grupo com 'User-Agent: __usage_ai-training' e 'Disallow: /' expressa preferência contra o uso de conteúdo para treinamento de IA generativa nos caminhos listados; 'Allow' expressa preferência a favor, e a regra pode ser por caminho, não só para o site inteiro. O documento não cria nova diretiva nem nova gramática (segue RFC 9309) e não altera o comportamento de rastreamento. Os termos 'AI Training' e 'generative AI model' seguem o vocabulário do grupo AIPREF. É um rascunho individual, não endossado pelo IETF e sem status formal no processo de padronização.
Making it easier for websites to express AI training preferences
A OpenAI anuncia que vai respeitar um sinal comum no robots.txt, o arquivo em que os sites expressam preferências sobre o uso do seu conteúdo para treinamento de IA generativa fundacional. O esforço é voluntário e reduz o trabalho de manter regras separadas para cada provedor. A implementação está prevista 'nos próximos meses', com novo comunicado de detalhes quando ocorrer. O sinal não substitui os controles já existentes no robots.txt por crawler, que continuam sendo respeitados. A OpenAI diz que o anúncio se baseia no trabalho do grupo AIPREF do IETF e encoraja outros provedores de IA a honrar o sinal.
Supporting a shared AI training control for websites
O Google planeja suportar um controle compartilhado de treinamento de IA no robots.txt, baseado no trabalho do grupo AIPREF do IETF. Sites poderão usar um 'policy token' para definir preferências amplas entre provedores participantes de uma só vez. Quando o token é usado para opt-out de treinamento e Google-Extended não é especificado, o Google pretende interpretar como se o editor tivesse bloqueado o Google-Extended. Controles específicos por empresa, como o Google-Extended, continuam funcionando junto com o sinal conjunto. O Google diz que pretende apoiar o novo controle com outros provedores de IA em 2027, e que a discussão multissetorial sobre o restante do vocabulário AIPREF segue em andamento.