Google adota padrão IETF AIPREF no robots.txt

Introdução

O Google confirmou apoio a um controle unificado de treinamento de IA no arquivo robots.txt, fundamentado no trabalho do grupo AIPREF no IETF. A palavra chave aqui é AIPREF, que define uma forma comum de expressar preferências de uso de conteúdo para treinamento entre vários provedores de IA, reduzindo a necessidade de regras diferentes para cada bot. (developers.google.com)

A proposta, descrita pelo Google em 30 de outubro de 2026, indica que quando um site optar por não treinar via o novo token de política no robots.txt, e não houver instrução explícita para Google-Extended, a empresa tratará isso como se o editor tivesse bloqueado o Google-Extended. O plano é oferecer suporte ao novo controle em 2027, em coordenação com outros provedores. (developers.google.com)

O que muda com o AIPREF no robots.txt

A novidade concentra, em um único “sinal” de política no robots.txt, a preferência do site sobre uso do conteúdo em treinamento de modelos. Em vez de manter listas separadas de agentes para cada empresa, editores passam a declarar uma preferência comum e legível por múltiplos provedores, o que reduz a complexidade operacional. (developers.google.com)

Do ponto de vista técnico, o esforço conversa com os drafts do IETF AIPREF, que tratam tanto do vocabulário de preferências quanto de formas de anexar essas preferências a conteúdos, inclusive por HTTP e por arquivos como o próprio robots.txt. Isso não é um padrão finalizado, é um trabalho em andamento, mas já orienta implementações iniciais. (datatracker.ietf.org)

Em paralelo, o ecossistema já vinha usando controles como o Google-Extended, que permite sinalizar preferência de uso para produtos de IA do Google, além de diretrizes tradicionais de Search baseadas em Googlebot. O novo mecanismo não revoga esses controles, funciona como camada comum por cima deles. (developers.google.com)

Quem já aderiu, linha do tempo e os detalhes que importam

Apoios públicos vieram em 30 de outubro de 2026. O Google anunciou planos de suporte com meta de disponibilização em 2027, mantendo a interpretação de que um opt out no token comum equivale a bloquear Google-Extended, salvo instrução explícita diferente. (developers.google.com)

A cobertura especializada reforçou a movimentação, destacando que a página de crawlers comuns do Google recebeu nota sobre a futura compatibilidade e que o token proposto de User-Agent a ser observado para a política aparece como “__usage_ai-training”. O artigo também cita a meta de início em 2027. (seroundtable.com)

A Microsoft, em publicação no blog do Bing, comunicou que honrará preferências de IA no robots.txt a partir de 1º de fevereiro de 2027, e que trará controles em nível de página para preferências distintas de treinamento e grounding, reforçando o uso de “User-Agent: __usage_ai-training”. Isso explicita um caminho de interoperabilidade entre múltiplos provedores. (blogs.bing.com)

A OpenAI divulgou compromisso de honrar um sinal comum no robots.txt para preferências sobre treinamento generativo, alinhado ao esforço do IETF. A comunicação ressalta a natureza voluntária e de coordenação setorial nesta fase. (openai.com)

Como declarar preferências, exemplos práticos e casos de uso

A proposta do Google descreve o uso de um token de política no robots.txt como forma de declarar preferências amplas sobre treinamento entre provedores participantes. A Microsoft detalhou que observará o User-Agent “__usage_ai-training”, e que oferecerá também preferências específicas por página para diferenciar treinamento e grounding. Em conjunto, isso abre espaço para três níveis de controle prático, conforme as comunicações públicas até agora:

• Nível global no robots.txt com um token de política comum para treinamento, entendido de forma consistente por vários provedores.
• Nível de agente específico para crawlers proprietários já existentes, como Google-Extended, GPTBot ou OAI-SearchBot, entre outros, mantendo controles legados e afinamentos por fornecedor.
• Nível por página, indicado pela Microsoft para 2027, separando preferências de treinamento e de grounding, útil para cenários em que o publisher aceita citação e contexto, mas não treinamento. (developers.google.com)

Exemplos de blocos que poderão coexistir no seu robots.txt, combinando controles comuns com regras específicas já conhecidas:

# Preferência comum para treinamento de IA
User-agent: __usage_ai-training
Disallow: /

# Mantendo controles específicos do Google
User-agent: Google-Extended
Disallow: /

# Mantendo controles para outros crawlers de IA, se aplicável
User-agent: GPTBot
Disallow: /

Observação importante. A semântica exata do novo token, incluindo se será “User-agent: __usage_ai-training” ou outra forma final, e os detalhes do “policy token” estão vinculados ao avanço do trabalho no IETF e às implementações de cada provedor. A documentação pública do Google esclarece como pretende interpretar o opt out do token comum em relação ao Google-Extended, e a Microsoft publicou data alvo e granularidade por página. Monitore as páginas oficiais para ajustes finais. (developers.google.com)

Limitações técnicas, riscos e o que a pesquisa acadêmica mostra

Robots.txt é um mecanismo voluntário. Historicamente, o protocolo depende de cooperação dos agentes. Pesquisas recentes questionam até que ponto assistentes e agentes respeitam consistentemente o robots.txt em rotinas de recuperação e grounding, o que sugere a necessidade de camadas complementares de controle, como bloqueios ativos em servidores e verificações de user agents e IPs. (arxiv.org)

Discussões no âmbito IETF também destacam a distinção entre aquisição de conteúdo, governada por robots.txt e controles de acesso, e uso a jusante, como treinamento, que é o que o AIPREF tenta endereçar com um vocabulário comum. Há preocupações sobre cenários em que usuários possam burlar controles ao colar URLs diretamente em modelos. Isso torna valiosa uma política de defesa em profundidade, combinando preferências declarativas com medidas de rede. (datatracker.ietf.org)

Relatos e investigações públicas mostram ainda que alguns crawlers podem rotacionar user agents ou ignorar diretivas. Isso reforça a ideia de que o sinal comum melhora interoperabilidade e conformidade entre atores responsáveis, mas não substitui controles técnicos, monitoramento e contratos, especialmente para conteúdo de alto valor. (itpro.com)

Impacto para SEO, tráfego e estratégia editorial

Do ponto de vista de SEO, o novo sinal não altera a forma como o Googlebot rastreia para fins de busca. As diretrizes continuam as mesmas para controle do que aparece no Search, com noindex, nosnippet, max-snippet, data-nosnippet e controle via Googlebot. O que muda é a camada de preferência sobre treinamento, que passa a ter um caminho comum entre provedores, reduzindo ruído operacional. (developers.google.com)

Para publishers e marcas, a gestão do risco de dados sensíveis e de ativos proprietários ganha previsibilidade. Onde antes era necessário mapear e atualizar listas de crawlers específicos, a tendência é consolidar o opt out de treinamento num token comum e manter exceções pontuais. Em contrapartida, quem optar por permitir treinamento pode ganhar exposição adicional em respostas com grounding, dependendo das políticas de cada provedor. O Google, por exemplo, mantém a sinalização de que sites que permitem Google-Extended são elegíveis a aparições e cliques via grounding em experiências Gemini. (developers.google.com)

Como se preparar, checklist 30, 60 e 90 dias

• Dias 0 a 30

  • Mapear o inventário atual de políticas em robots.txt, incluindo regras para Google-Extended e outros bots de IA usados no seu setor. (blog.cloudflare.com)
  • Definir política corporativa sobre treinamento, separando claramente preferência para uso em treinamento e para grounding quando esses controles estiverem disponíveis por página em 2027. (blogs.bing.com)
  • Iniciar logs e alertas para analytics de crawlers de IA, monitorando user agents, IPs e padrões de acesso.

• Dias 31 a 60

  • Preparar o arquivo robots.txt para incluir o token comum de política, mantendo controles específicos por fornecedor quando houver necessidade de exceções. (developers.google.com)
  • Atualizar páginas críticas com cabeçalhos ou metatags alinhados, caso adote os futuros controles por página para grounding, e documentar suas exceções editoriais. (blogs.bing.com)
  • Criar playbook para resposta a incidentes de não conformidade, incluindo bloqueios em WAF e listas de IP, dado que o respeito ao robots.txt não é garantido por todos os agentes. (itpro.com)

• Dias 61 a 90

  • Validar o funcionamento em ambientes de staging, com testes de crawlers legítimos e simulação de agentes.
  • Publicar política de transparência sobre o uso pretendido do seu conteúdo para IA, referenciando o AIPREF e os mecanismos adotados, para reforçar sinal legal e técnico. (datatracker.ietf.org)
  • Estabelecer governança contínua, com revisão trimestral das políticas e auditoria dos acessos de bots.

Perguntas frequentes que surgem agora

• Isso já é um padrão IETF fechado e obrigatório

  • Não. O AIPREF está em desenvolvimento e as empresas anunciaram adesão voluntária a um sinal comum enquanto o trabalho continua. A página do IETF mostra drafts ativos, e as notas oficiais dos provedores falam em planos e metas de implementação, não em disponibilidade imediata. (datatracker.ietf.org)

• O que acontece se eu bloquear o token comum e liberar Google-Extended

  • O Google indicou que, ao detectar opt out no token comum sem instrução explícita para Google-Extended, interpretará como se Google-Extended estivesse bloqueado. Portanto, se pretende permitir Google-Extended, declare isso de forma explícita. (developers.google.com)

• Quando isso entra em vigor

  • O Google aponta 2027 como horizonte para suporte. A Microsoft publicou que honrará as preferências a partir de 1º de fevereiro de 2027 e que terá controles por página. A OpenAI diz que honrará o sinal comum e que o esforço é coordenado, mas sem data pública específica além do anúncio. (developers.google.com)

Reflexões e insights

Convergência é o fator estratégico. Ao migrar de uma colcha de retalhos de bloqueios por user agent para um vocabulário e um token comuns, o ecossistema reduz custos de coordenação entre publishers e provedores. Isso tende a elevar o patamar de conformidade entre grandes atores do setor e a oferecer previsibilidade regulatória em mercados que já discutem o papel do robots.txt como canal primário de preferência. (developers.google.com)

Ao mesmo tempo, o mecanismo é declarativo e, portanto, não substitui salvaguardas técnicas. Pesquisa recente mostra lacunas no respeito universal ao robots.txt por parte de agentes diversos. O caminho prudente combina sinalização clara via AIPREF, controles por agente quando necessários, logs e mitigação ativa em rede. Isso é especialmente relevante para quem monetiza conteúdo e para quem precisa segmentar o que pode ser usado em grounding ou treinamento. (arxiv.org)

Conclusão

O movimento do Google e de outros provedores em direção ao AIPREF indica maturação do debate sobre direitos e preferências no uso de conteúdo para IA. A adoção de um token comum no robots.txt simplifica a vida de quem publica e administra sites, ao mesmo tempo em que preserva exceções e controles por fornecedor quando necessários. O resultado tende a ser mais transparência e menos fricção na prática diária. (developers.google.com)

Para capturar os benefícios e mitigar riscos, vale agir agora. Mapear políticas existentes, preparar o robots.txt para o novo sinal, ajustar processos de governança e observar as datas publicadas para 2027 criam um trilho seguro para evoluir com o ecossistema. Quem alinhar estratégia, técnica e compliance desde já chegará ao próximo ciclo com mais controle sobre como seu conteúdo participa da era da IA. (developers.google.com)