CCBot
Agente do Common Crawl do tipo “rastreador de treinamento de IA”.
- Operador
- Common Crawl
- No user agent
CCBot- Token do robots.txt
CCBot- Respeita o robots.txt
- não diz se respeita o robots.txt
- Documentação oficial
- não encontrada; identificado pelo user agent observado
- Conferido em
- 2026-11-04
O que é o CCBot?
O CCBot é um agente do Common Crawl do tipo “rastreador de treinamento de IA”. Ele coleta páginas que podem ser usadas para treinar modelos de IA. A visita não responde ninguém agora; ela decide o que os próximos modelos vão saber sobre você.
Descrição do operador: Builds the Common Crawl open web archive, widely used as AI training data.
Como bloquear ou liberar o CCBot?
Pelo robots.txt, com o token CCBot. O Common Crawl não diz se respeita o robots.txt. Para bloquear o site inteiro:
User-agent: CCBot
Disallow: /Para liberar, troque Disallow por Allow. Antes de bloquear, pense no que ele traz: bloquear não tira você das buscas de IA, mas os próximos modelos saberão menos sobre você.
Como saber se o CCBot visitou o meu site?
Nos logs de acesso do servidor ou da CDN, procure CCBot no user agent. O Google Analytics não mostra essas visitas: agentes não rodam o JavaScript dele.
O nome no user agent pode ser copiado por qualquer um, então contar linhas não basta. O Knocklog lê o tráfego do seu site em qualquer hospedagem, confirma quem é quem e mostra quantas vezes o CCBot veio, quais páginas leu e o que isso trouxe.
Como saber se é o CCBot de verdade?
O Common Crawl não publica um jeito de verificar o CCBot. Qualquer programa pode usar esse nome, então o Knocklog mostra essas visitas como “não verificáveis”, nunca como verdadeiras.
O CCBot visita o seu site?
Veja em segundos como o seu site trata os agentes de IA. Depois, conecte o tráfego para saber quem veio de verdade.