Knocklog

Como os 1.000 sites mais visitados tratam os agentes de IA

A maioria dos maiores sites da web ainda deixa todos os agentes de IA entrarem. Os que bloqueiam separam treino de resposta: tiram o conteúdo do treino dos modelos e continuam abertos aos assistentes que citam e mandam visitas.

Dados coletados em 11 de novembro de 2026

Principais resultados

Quem é bloqueado

Sites que bloqueiam cada agente na página inicial
AgentePara que serveSites que bloqueiam
BytespiderTreino17,4%
CCBotTreino17%
ClaudeBotTreino16%
GPTBotTreino15,8%
Meta-ExternalAgentTreino14,4%
Applebot-ExtendedTreino14,2%
AmazonbotTreino13,5%
Google-ExtendedTreino13,4%
PerplexityBotBusca de IA10,2%
Perplexity-UserPedido de uma pessoa8,7%
ChatGPT-UserPedido de uma pessoa8,2%
Claude-UserPedido de uma pessoa7,9%
Claude-SearchBotBusca de IA7,5%
OAI-SearchBotBusca de IA6,2%

O robô de treino de cada empresa é bloqueado bem mais que o de busca: GPTBot em 15,8% contra 6,2% do OAI-SearchBot, ClaudeBot em 16% contra 7,5% do Claude-SearchBot. Bloquear um robô de treino não tira o site das respostas dos assistentes; bloquear os de busca e os de pedidos de pessoas tira.

Como fizemos

Usamos a lista Tranco Y895G, de sites mais visitados, e pegamos os domínios .com na ordem do ranking até 1.000 sites responderem. 328 domínios que não responderam por HTTPS em 10 segundos ficaram de fora; muitos são domínios de infraestrutura, sem site.

Em cada site, pedimos uma vez o /robots.txt e o /llms.txt, identificados como KnocklogScanner. Decidimos se cada agente pode ler a página inicial seguindo a RFC 9309: vale o grupo com o nome do agente e, se não houver, o grupo *. Sem robots.txt, tudo é permitido; erro de servidor no robots.txt conta como bloqueio. Um llms.txt conta quando é texto e começa com um título.

Limites: o robots.txt diz o que o site pede, não o que ele impõe. Bloqueios na CDN ou no firewall não aparecem aqui. Olhamos só a página inicial e só domínios .com.

Os dados

A planilha com o resultado de cada site está em knocklog.ai/research/2026-11-top-1000-robots.csv. Pode usar e citar, com crédito ao Knocklog. Vamos repetir a pesquisa todo mês.

Veja como o seu site trata cada agente de IA

O diagnóstico é grátis e não pede cadastro.

Fontes

Leia também