A maioria dos sites mais visitados ainda deixa todos os agentes de IA entrarem
As empresas de IA mandam robôs para treinar modelos, robôs para responder buscas e agentes que navegam por um usuário. O dono do site pode tratar cada um de um jeito no robots.txt. Verificamos como os 1.000 sites .com mais visitados fazem isso: três em cada quatro deixam a porta aberta para todos, e os poucos que bloqueiam miram o treino, não a busca com IA.
- 77,5% dos 1.000 sites .com mais visitados liberam a página inicial para todos os 14 principais agentes de IA testados.
- 22% bloqueiam pelo menos um robô de treino de IA; 8,6% bloqueiam os oito testados.
- Os mais bloqueados são o Bytespider, da ByteDance (17,4%), o CCBot, da Common Crawl (17%), o ClaudeBot, da Anthropic (16%), e o GPTBot, da OpenAI (15,8%).
- 9,6% bloqueiam o GPTBot, que coleta dados para treino, mas liberam o OAI-SearchBot, que alimenta a busca do ChatGPT.
- Só 16,9% publicam um arquivo llms.txt, o guia proposto para assistentes de IA.
- Método: lista Tranco Y895G, domínios .com em ordem de ranking, robots.txt lido pelas regras da RFC 9309 em 11 de novembro de 2026.