Índice do rastreador

Uma grande amostra de rastreadores que são bloqueados por sites.

71,6%

dos sites têm pelo menos um comando de proibição parcial.

71,6%

dos sites têm pelo menos um comando de proibição parcial.

% de sites que bloqueiam explicitamente o agente do usuário % de sites bloqueando explicitamente e com o comando * Empresa Objetivo Agente do usuário
2,5%62,5%Open AIGPTGPTBot
2,1%62,5%Common Crawl FoundationArquivo Público da WebCCBot
1,6%62,5%GoogleBard/Gemini/PaLM/BisonGoogle-Extended
0,6%62,2%OpenAIChat GPTchatgpt-user
1,8%63,7%AmazonAlexaamazonbot
0,5%61,9%Meta AILIaMAFacebookBot
0,5%64,9%BrandwatchMagpie Crawlermagpie-crawler
1,8%64,9%ByteDanceByteDance LLM N/ABytespider
0,5%61,8%AnthropicClaudeAnthropic-AI
1,6%63,5%AnthropicClaudeclaudebot
0,3%62,5%AnthropicClaudeclaude-web
0,4%62,5%PerplexityChatbotperplexitybot
0,3%62,0%CohereComando CohereCohere-AI
1,3%62,8%AppleModelos fundamentais da AppleApplebot-Extended
0,3%64,7%AppleSiriApplebot
0,3%64,7%Diffbotdados de treinamentodiffbot
1,4%63,6%MetaAll Meta IAmeta-externalagent
0,2%64,6%OpenAISearchGPToai-searchbot
0,2%64,7%TimpiWilson IAtimpibot
0,1%64,7%webz.iowebzio-extendedwebzio-extended
0,1%64,1%GoogleBard/Gemini/PaLM/Bisongoogleother
0,01%65,0%Perplexityperplexity-IAperplexity-ai
0,1%64,7%MetaAll Meta IAmeta-externalfetcher
% de sites que bloqueiam explicitamente o agente do usuário % de sites bloqueando explicitamente e com o comando * Empresa Objetivo Agente do usuário
20,5%83,5%Open AIChat GPTgptbot
17,1%84,1%Common Crawl FoundationArquivo Público da Webccbot
13,5%84,8%GoogleBard/Gemini/PaLM/Bisongoogle-extended
11,7%83,4%Open AIChat GPTchatgpt-user
12,2%83,6%AnthropicClaudeanthropic-ai
14,1%83,4%AnthropicClaudeclaudebot
10,2%83,8%AnthropicClaudeclaude-web
8,9%83,6%MetaLIaMAfacebookbot
12,4%84,2%ByteDanceByteDance LLM N/Abytespider
11,8%83,4%PerplexityChatbotperplexitybot
10,3%84,2%CohereComando Coherecohere-ai
8,9%84,4%Apple.comModelos fundamentais da Appleapplebot-extended
4,9%86,1%Brand WatchMagpie Crawlermagpie-crawler
7,3%83,7%AmazonAlexaamazonbot
3,3%85,1%AppleSiriapplebot
1,8%85,5%GoogleBard/Gemini/PaLM/Bisongoogleother
2,9%85,6%Webzwebzio-extendedwebzio-extended
4,2%85,5%TimpiWilson IAtimpibot
1,4%86,4%Perplexityperplexity-IAperplexity-ai
4,8%85,9%MetaAll Meta IAmeta-externalfetcher
7,0%83,6%Open AIPesquisar GPTOAI-searchbot
4,8%85,9%MetaAll Meta IAmeta-externalagent
Metodologia

A Bright Data coleta os dados públicos da web mais procurados do mundo em bilhões dos principais sites. Por meio de nosso produto de conformidade, Bright Shield, coletamos comandos de permissão e proibição para agentes de usuário em robot.txt dos sites que coletamos. Nossa amostra atual de sites é de 9.832.187 e coletamos cerca de 33.000 agentes de usuário exclusivos.

Nossa equipe de pesquisa identificou a porcentagem de tempo em que cada agente de usuário de interesse é explicitamente bloqueado em nossa amostra e cada agente de usuário que é bloqueado com o comando (*). Também rastreamos a porcentagem geral de sites que proíbem todos os rastreadores. Cada agente de usuário é identificado da melhor maneira possível por empresa, uso e um link que inclui informações adicionais, como por exemplo, como bloqueá-lo.

Comentários sobre agentes de usuário? Envie seus comentáriospor e-mail para [email protected]

Última atualização em 2 de dezembro de 2025