Receita: proteção contra scraping e bots
Limite de taxa, verificação de rastreadores legítimos e armadilhas simples, sem bloquear quem deve entrar.
Neste texto
Que problema esta receita resolve?
Scrapers copiam seu conteúdo e republicam em outro lugar, e robôs agressivos consomem CPU e banda do servidor. O Google define scraping, em suas políticas de spam, como pegar conteúdo de outros sites, muitas vezes de forma automática, e republicá-lo para manipular rankings. Do lado de quem sofre a cópia, o efeito é carga extra e conteúdo duplicado circulando. A receita reduz a superfície do problema com camadas simples.
A lógica vem de um plugin anti-scraper e escudo de bots que Camillo Dantas desenvolveu; ele não é vendido. Aqui estão o raciocínio e o código.
Quando usar e quando não usar
Use quando os logs mostram picos de requisições de poucos IPs, quando o servidor sofre sem aumento de visitantes reais ou quando há cópia sistemática do seu conteúdo.
Não use:
- bloqueio por User-Agent como defesa única: é trivial de burlar, e uma lista mal feita derruba rastreadores legítimos;
- rate limit agressivo em sites atrás de CDN sem restaurar o IP real do cliente: você acabará bloqueando o IP da própria CDN;
- barreiras que atrapalham leitores com leitores de tela ou conexão lenta (por exemplo, exigir JavaScript para ver texto).
Uma ressalva de contexto: se a sua estratégia é que sistemas de IA leiam e citem o conteúdo, não bloqueie por reflexo os rastreadores que você quer. A decisão por rastreador é feita no robots.txt, conforme o glossário de robots.txt e a página sobre robots.txt para IA.
Pré-requisitos
- Acesso aos logs de acesso do servidor.
- Acesso à configuração do Nginx ou Apache, ou um mu-plugin.
- Saber se o site está atrás de CDN ou proxy (para ler o IP correto).
- Nível: avançado.
Passo a passo
- 01Analise os logs: quais IPs e caminhos concentram as requisições.
- 02Aplique limite de taxa no servidor.
- 03Adicione uma camada em PHP com verificação de Googlebot.
- 04Use o robots.txt para orientar os rastreadores que o obedecem.
- 05Monitore falsos positivos por duas semanas.
Passo 1: logs
Em um log no formato combinado do Apache ou Nginx, os dez IPs com mais requisições:
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10
E os caminhos mais pedidos por um IP suspeito:
grep '^203.0.113.9 ' /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head
(O IP é de documentação; use o seu.) Observe o padrão: milhares de URLs de posts em sequência, sem pedir CSS, imagens ou JavaScript, é típico de coletor.
Passo 2: limite de taxa no Nginx
http {
limit_req_zone $binary_remote_addr zone=geral:10m rate=5r/s;
}
server {
location / {
limit_req zone=geral burst=20 nodelay;
limit_req_status 429;
try_files $uri $uri/ /index.php?$args;
}
}
rate=5r/s com burst=20 permite rajadas razoáveis de navegação e corta ritmos sustentados altos. Ajuste ao seu tráfego: páginas com muitos recursos geram várias requisições por visita. Atrás de CDN, use o módulo realip para trocar $remote_addr pelo IP real do cabeçalho confiável fornecido pelo proxy; sem isso, todos os visitantes parecem o mesmo IP.
Passo 3: camada PHP com exceção para Googlebot
Quando você não controla o servidor, um mu-plugin cobre o básico. Note que ele roda depois do carregamento do WordPress, então protege menos a CPU que o Nginx.
<?php
/**
* Plugin Name: Limite de taxa (receita)
*/
function rs_googlebot_verificado( $ip ) {
$chave = 'gb_' . md5( $ip );
$cache = get_transient( $chave );
if ( false !== $cache ) {
return '1' === $cache;
}
$ok = false;
$nome = gethostbyaddr( $ip );
if ( $nome && $nome !== $ip && preg_match( '/\.(googlebot|google)\.com$|\.googleusercontent\.com$/i', $nome ) ) {
$ips = gethostbynamel( $nome ); // só IPv4; para IPv6, use dns_get_record( $nome, DNS_AAAA ).
$ok = is_array( $ips ) && in_array( $ip, $ips, true );
}
set_transient( $chave, $ok ? '1' : '0', DAY_IN_SECONDS );
return $ok;
}
add_action( 'init', function () {
if ( is_admin() || wp_doing_cron() || wp_doing_ajax() || is_user_logged_in() ) {
return;
}
$ip = isset( $_SERVER['REMOTE_ADDR'] ) ? $_SERVER['REMOTE_ADDR'] : '';
if ( ! filter_var( $ip, FILTER_VALIDATE_IP ) ) {
return;
}
$ua = isset( $_SERVER['HTTP_USER_AGENT'] ) ? wp_unslash( $_SERVER['HTTP_USER_AGENT'] ) : '';
if ( false !== stripos( $ua, 'googlebot' ) && rs_googlebot_verificado( $ip ) ) {
return;
}
$chave = 'rl_' . md5( $ip );
$n = (int) get_transient( $chave );
if ( $n >= 120 ) { // 120 requisições por minuto.
status_header( 429 );
header( 'Retry-After: 60' );
exit( 'Muitas requisições. Tente novamente em instantes.' );
}
set_transient( $chave, $n + 1, MINUTE_IN_SECONDS );
} );
O procedimento de verificação segue o documentado pelo Google (atualizado em 20 de março de 2026): fazer a consulta DNS reversa do IP, checar se o domínio é googlebot.com, google.com ou googleusercontent.com, fazer a consulta direta desse nome e confirmar que devolve o IP original. O Google também publica arquivos com as faixas de IP de seus rastreadores, que servem à verificação automática. O código consulta o DNS só quando o User-Agent se diz Googlebot, e guarda o resultado por um dia.
Limitações: cada requisição grava um transient; em sites de alto tráfego, prefira cache de objetos (Redis/Memcached) ou o limite no Nginx. A janela é deslizante, porque cada gravação renova o prazo.
Passo 4: robots.txt
O robots.txt orienta rastreadores que o respeitam; não impede quem o ignora. Exemplo de regra para um robô específico que você decidiu recusar (troque o nome pelo user-agent publicado pelo operador):
User-agent: NomeDoRobo
Disallow: /
Decida caso a caso e registre o motivo. Bloquear um rastreador de busca por engano some com o site dos resultados desse buscador.
Armadilha opcional
Uma URL escondida (/arquivo-interno-nao-visite/), listada como Disallow no robots.txt e linkada de modo invisível, atrai quem ignora a regra. Registre os acessos a ela e use o IP para bloquear no firewall. Prefira revisão manual a bloqueio automático, para não punir um leitor que clicou por acaso.
Como testar
Critério de sucesso: o ritmo normal de navegação nunca recebe 429; um laço de requisições rápidas recebe 429; o Googlebot verificado passa; o consumo de CPU nos picos cai.
- Navegue normalmente por 20 páginas: nenhum bloqueio.
- Rode, só contra o seu site,
for i in $(seq 1 200); do curl -s -o /dev/null -w "%{http_code}\n" https://seusite.com.br/; done | sort | uniq -c. Deve aparecer 429 depois do limite. - No Search Console, a ferramenta de inspeção de URL busca a página ao vivo como Googlebot: confirme que a busca funciona.
- Acompanhe o relatório de estatísticas de rastreamento por duas semanas para detectar queda de rastreamento.
- Revise o log em busca de visitantes legítimos recebendo 429.
Erros comuns e como desfazer
| Erro | Efeito | Correção |
|---|---|---|
| Limite baixo demais | leitores bloqueados | aumente rate e burst |
| Bloquear por User-Agent genérico | rastreadores legítimos caem | prefira verificação por DNS |
| Esquecer o IP real atrás de CDN | todos parecem um só IP | restaure o IP do cliente |
| Bloquear Googlebot sem querer | queda de rastreamento | verifique pelo método do Google |
| Exigir JavaScript para ver o texto | acessibilidade e leitura por máquina prejudicadas | mantenha o texto no HTML |
Para desfazer, remova o bloco do Nginx e o mu-plugin e recarregue o servidor.
Checklist final
- Logs analisados antes de agir.
- Limite de taxa testado.
- Googlebot verificado por DNS.
- IP real restaurado atrás de proxy.
- robots.txt revisado com intenção.
- Monitoramento por duas semanas.
Próximos passos
Para ameaças de reputação e links, veja a receita contra negative SEO. O curso SEO técnico para IA e a trilha de SEO técnico aprofundam rastreadores e robots. Plugins de origem: camillodantas.com.br/plugins.
Fontes
- Verifying Googlebot and other Google crawlers, Google Search Central (2026-03-20)
- Spam policies for Google web search, Google Search Central (2026-08-28)
- ngx_http_limit_req_module, nginx documentation (2026-10-14)
Não sabe por onde começar?
Compare as opções e escolha a trilha pelo seu objetivo.