Como saber se o GPTBot, o ClaudeBot ou o Googlebot que visitou o seu site é falso
O user agent é só um texto que o visitante escolhe. Raspadores usam o nome de robôs conhecidos para passar por bloqueios e misturar-se ao tráfego legítimo. Para saber quem veio de verdade, é preciso conferir o que o próprio operador publica.
As três formas de confirmar
Cada operador escolhe como permite a conferência. Os principais publicam pelo menos uma destas:
- Lista de endereços de IP: OpenAI, Anthropic, Perplexity, Google, Mistral, DuckDuckGo e Common Crawl publicam arquivos com os endereços dos seus robôs. Uma visita com o nome do robô vinda de fora da lista não é dele.
- DNS reverso confirmado: o nome do endereço de IP precisa terminar no domínio do operador (por exemplo googlebot.com ou search.msn.com) e esse nome precisa apontar de volta para o mesmo IP. É assim que Google, Bing, Yandex e Pinterest pedem que se confirme.
- Assinatura da requisição (Web Bot Auth): agentes como o ChatGPT agent assinam cada requisição com uma chave publicada pelo operador. Uma assinatura que confere prova a origem.
O que cada resultado quer dizer
| Resultado | Quer dizer | O que fazer |
|---|---|---|
| Verificado | O IP, o DNS ou a assinatura confere com o que o operador publica. | É o robô verdadeiro. Trate conforme o seu robots.txt. |
| Falso | Usa o nome de um robô conhecido e a informação do próprio operador prova que não é ele. | É um impostor. Pode bloquear sem afetar o robô verdadeiro. |
| Não verificado | O operador não publica como conferir, ou faltou o IP da visita. | Não é o mesmo que falso. Observe o comportamento antes de decidir. |
Por que isso importa
Nos sites que medimos, uma parte grande das visitas com nome de agente de IA não era de quem dizia ser. Quem conta linhas de log com GPTBot superestima o interesse da OpenAI no site e não vê quem está copiando o conteúdo com nome emprestado.
Bloquear pelo user agent também tem o efeito contrário ao esperado: o robô verdadeiro obedece o robots.txt e vai embora, enquanto o falso só troca de nome.
Confira uma visita agora
Copie o user agent e o IP de uma linha do seu log e cole no verificador grátis de robôs de IA do Knocklog. Ele diz quem a visita diz ser, quem a opera e se é verdadeira. Para conferir todas as visitas, o tempo todo, conecte o site ao Knocklog.
Veja quantos robôs falsos visitam o seu site
O diagnóstico é grátis e não pede cadastro.
Fontes
- Google: verificar o Googlebot e outros rastreadores
- OpenAI: Overview of OpenAI Crawlers
- Bing: How to Verify Bingbot
- Verificador de robôs de IA do Knocklog
Leia também
- Knocklog, Cloudflare AI Crawl Control e Known Agents
- Como bloquear o treino de IA sem sumir do ChatGPT
- O que é llms.txt e como criar o seu
- Uma alternativa ao RB2B que também vê os agentes de IA
- GPTBot, ChatGPT-User e OAI-SearchBot: o que cada robô da OpenAI faz
- Como ver o tráfego de robôs de IA no WordPress
- Como ver os robôs de IA num site Next.js na Vercel ou na Netlify
- Como os 1.000 sites mais visitados tratam os agentes de IA
- Como ver o tráfego do ChatGPT no Google Analytics 4
- Ferramentas para ver quais agentes de IA e robôs visitam o seu site
- Como deixar um site feito no Lovable visível para o ChatGPT e outros agentes de IA
- Como saber quais agentes de IA visitam o meu site
- Diretório de agentes de IA