Testador de robots.txt para agentes de IA
Digite o seu site e uma página. O Knocklog lê o seu robots.txt do jeito que cada agente de IA lê e mostra quem pode buscar aquela página, quem está bloqueado e a regra exata que decide.
Bloquear o treino de IA sem sumir das respostas
A maioria dos operadores usa nomes diferentes para trabalhos diferentes. A OpenAI tem o GPTBot (treino), o OAI-SearchBot (resultados de busca no ChatGPT) e o ChatGPT-User (busca de uma página para uma pessoa). A Anthropic tem ClaudeBot, Claude-SearchBot e Claude-User. O Google usa o Google-Extended para o treino do Gemini, e o Googlebot mantém o site na busca.
Bloquear o GPTBot ou o ClaudeBot impede o treino com as suas páginas; bloquear os agentes de busca e de usuário faz você sumir das respostas. Este testador mostra o efeito das suas regras em cada um, agrupados pelo que o agente faz.
Como a decisão é tomada
Os agentes seguem a RFC 9309: o agente usa o grupo que cita o seu próprio nome; se nenhum cita, usa o grupo *. Dentro do grupo vence o caminho mais longo que combina, e o Allow vence o empate. Um robots.txt que responde com erro de servidor manda os agentes ficarem longe; sem robots.txt, tudo é permitido.
O robots.txt é um pedido, não uma tranca. Para ver se os agentes respeitam e pegar os impostores que usam o nome deles, meça as visitas reais com o Knocklog.
Perguntas frequentes
- Como bloquear o GPTBot no robots.txt?
- Coloque "User-agent: GPTBot" e depois "Disallow: /". Teste aqui: o GPTBot aparece bloqueado e o OAI-SearchBot e o ChatGPT-User continuam liberados, então você segue aparecendo no ChatGPT.
- Bloquear o Google-Extended tira o meu site da busca do Google?
- Não. O Google-Extended controla só o uso no treino e nas respostas do Gemini. Quem mantém as páginas na busca é o Googlebot.
- Por que um agente sem regra própria aparece bloqueado?
- Ele segue o grupo *. Se esse grupo proíbe a página, todo agente sem grupo próprio também fica bloqueado.
- Os agentes de IA obedecem mesmo ao robots.txt?
- Os grandes operadores dizem que os seus robôs de coleta obedecem; agentes que buscam uma página porque uma pessoa pediu muitas vezes não leem o arquivo. O relatório do Knocklog mostra o que cada agente fez de fato no seu site.
Mais ferramentas: Este robô de IA é verdadeiro? · Validador de llms.txt · Diretório de agentes de IA