Como os 1.000 sites mais visitados tratam os agentes de IA
A maioria dos maiores sites da web ainda deixa todos os agentes de IA entrarem. Os que bloqueiam separam treino de resposta: tiram o conteúdo do treino dos modelos e continuam abertos aos assistentes que citam e mandam visitas.
Dados coletados em 11 de novembro de 2026
Principais resultados
- 77,5% dos sites liberam todos os 14 agentes de IA que testamos.
- 22% bloqueiam pelo menos um robô de treino de IA, e só 8,6% bloqueiam todos os 8.
- O GPTBot, que coleta para treinar os modelos da OpenAI, é bloqueado em 15,8% dos sites. O OAI-SearchBot, que coloca sites na busca do ChatGPT, em 6,2%.
- 9,6% bloqueiam o treino da OpenAI e liberam a busca: a escolha de quem quer aparecer no ChatGPT sem ceder conteúdo para treino.
- 4,1% fecham a porta para todos os agentes de IA, inclusive os que buscam uma página porque uma pessoa pediu.
- 16,9% já publicam um llms.txt.
- O mais bloqueado é o Bytespider (17,4%).
Quem é bloqueado
| Agente | Para que serve | Sites que bloqueiam |
|---|---|---|
| Bytespider | Treino | |
| CCBot | Treino | |
| ClaudeBot | Treino | |
| GPTBot | Treino | |
| Meta-ExternalAgent | Treino | |
| Applebot-Extended | Treino | |
| Amazonbot | Treino | |
| Google-Extended | Treino | |
| PerplexityBot | Busca de IA | |
| Perplexity-User | Pedido de uma pessoa | |
| ChatGPT-User | Pedido de uma pessoa | |
| Claude-User | Pedido de uma pessoa | |
| Claude-SearchBot | Busca de IA | |
| OAI-SearchBot | Busca de IA |
O robô de treino de cada empresa é bloqueado bem mais que o de busca: GPTBot em 15,8% contra 6,2% do OAI-SearchBot, ClaudeBot em 16% contra 7,5% do Claude-SearchBot. Bloquear um robô de treino não tira o site das respostas dos assistentes; bloquear os de busca e os de pedidos de pessoas tira.
Como fizemos
Usamos a lista Tranco Y895G, de sites mais visitados, e pegamos os domínios .com na ordem do ranking até 1.000 sites responderem. 328 domínios que não responderam por HTTPS em 10 segundos ficaram de fora; muitos são domínios de infraestrutura, sem site.
Em cada site, pedimos uma vez o /robots.txt e o /llms.txt, identificados como KnocklogScanner. Decidimos se cada agente pode ler a página inicial seguindo a RFC 9309: vale o grupo com o nome do agente e, se não houver, o grupo *. Sem robots.txt, tudo é permitido; erro de servidor no robots.txt conta como bloqueio. Um llms.txt conta quando é texto e começa com um título.
Limites: o robots.txt diz o que o site pede, não o que ele impõe. Bloqueios na CDN ou no firewall não aparecem aqui. Olhamos só a página inicial e só domínios .com.
Os dados
A planilha com o resultado de cada site está em knocklog.ai/research/2026-11-top-1000-robots.csv. Pode usar e citar, com crédito ao Knocklog. Vamos repetir a pesquisa todo mês.
Veja como o seu site trata cada agente de IA
O diagnóstico é grátis e não pede cadastro.
Fontes
Leia também
- Knocklog, Cloudflare AI Crawl Control e Known Agents
- Como bloquear o treino de IA sem sumir do ChatGPT
- O que é llms.txt e como criar o seu
- Uma alternativa ao RB2B que também vê os agentes de IA
- GPTBot, ChatGPT-User e OAI-SearchBot: o que cada robô da OpenAI faz
- Como ver o tráfego de robôs de IA no WordPress
- Como saber se o GPTBot, o ClaudeBot ou o Googlebot que visitou o seu site é falso
- Como ver os robôs de IA num site Next.js na Vercel ou na Netlify
- Como ver o tráfego do ChatGPT no Google Analytics 4
- Ferramentas para ver quais agentes de IA e robôs visitam o seu site
- Como deixar um site feito no Lovable visível para o ChatGPT e outros agentes de IA
- Como saber quais agentes de IA visitam o meu site
- Diretório de agentes de IA