Como bloquear o treino de IA sem sumir do ChatGPT
Bloquear todos os agentes de IA tira o seu site das respostas do ChatGPT, do Claude e do Perplexity. Dá para separar: recusar o treino de modelos e continuar sendo encontrado e citado.
Treino e busca são agentes diferentes
As empresas de IA usam nomes diferentes para cada trabalho. Os rastreadores de treino (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, CCBot, Bytespider) coletam páginas para modelos futuros. Os rastreadores de busca (OAI-SearchBot, Claude-SearchBot, PerplexityBot) montam o índice que o assistente consulta. E os assistentes agindo por uma pessoa (ChatGPT-User, Claude-User, Perplexity-User) buscam a página na hora em que alguém pergunta.
Bloquear os primeiros e liberar os outros dois grupos é a política mais comum para quem quer vender: o conteúdo não vira treino, mas o site continua aparecendo e sendo citado com link.
O robots.txt pronto
Copie para o arquivo robots.txt na raiz do site e troque o endereço do sitemap. Os nomes vêm do nosso diretório de agentes, conferido com a documentação de cada empresa.
# Bloqueia o treino de modelos de IA
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /
# Libera a busca e os assistentes de IA
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Perplexity-User
User-agent: PerplexityBot
User-agent: meta-externalfetcher
User-agent: meta-webindexer
User-agent: Amazonbot
User-agent: PetalBot
User-agent: DuckAssistBot
User-agent: MistralAI-User
Allow: /
# Todos os outros, como hoje
User-agent: *
Allow: /
Sitemap: https://seusite.com.br/sitemap.xmlO que muda e o que não muda
- Google-Extended não tira o site da busca do Google: segundo o Google, ele controla o uso do conteúdo para treinar e embasar o Gemini. O Googlebot continua indexando normalmente.
- Applebot-Extended recusa o treino dos modelos da Apple; o Applebot continua alimentando a busca da Siri e do Spotlight.
- Assistentes que buscam a página para uma pessoa nem sempre seguem o robots.txt: o Perplexity-User em geral o ignora, e o ChatGPT-User o segue só em parte. Para eles, o robots.txt é um pedido, não um bloqueio.
- Robôs que fingem ser o GPTBot ou o ClaudeBot ignoram o robots.txt de qualquer jeito. Só a verificação mostra quem é quem.
Confira se foi respeitado
Depois de publicar, acompanhe por algumas semanas: os rastreadores de treino verdadeiros devem parar de pedir páginas, e os de busca e os assistentes devem continuar. O Knocklog mostra isso por agente, separa os verdadeiros dos falsos e, no plano Pro, gera um robots.txt com essa política já ajustada ao seu site.
Veja o que o seu robots.txt bloqueia hoje
O diagnóstico grátis lista cada agente de IA e se ele pode entrar no seu site.
Fontes
- Google: rastreadores comuns e Google-Extended
- OpenAI: os robôs da OpenAI
- Anthropic: rastreadores do Claude
- Perplexity: rastreadores
- Apple: Applebot