receita

Receita: proteção contra scraping e bots

Limite de taxa, verificação de rastreadores legítimos e armadilhas simples, sem bloquear quem deve entrar.

resposta curtaProteger-se de scraping é limitar o ritmo de requisições por IP, verificar por DNS reverso quem diz ser Googlebot e usar o robots.txt para orientar rastreadores que o respeitam. Nenhuma técnica garante bloqueio total, porque o User-Agent é facilmente falsificado. O objetivo é impedir abuso de carga e cópia em massa sem bloquear visitantes legítimos nem buscadores.
Neste texto

Que problema esta receita resolve?

Scrapers copiam seu conteúdo e republicam em outro lugar, e robôs agressivos consomem CPU e banda do servidor. O Google define scraping, em suas políticas de spam, como pegar conteúdo de outros sites, muitas vezes de forma automática, e republicá-lo para manipular rankings. Do lado de quem sofre a cópia, o efeito é carga extra e conteúdo duplicado circulando. A receita reduz a superfície do problema com camadas simples.

A lógica vem de um plugin anti-scraper e escudo de bots que Camillo Dantas desenvolveu; ele não é vendido. Aqui estão o raciocínio e o código.

Quando usar e quando não usar

Use quando os logs mostram picos de requisições de poucos IPs, quando o servidor sofre sem aumento de visitantes reais ou quando há cópia sistemática do seu conteúdo.

Não use:

  • bloqueio por User-Agent como defesa única: é trivial de burlar, e uma lista mal feita derruba rastreadores legítimos;
  • rate limit agressivo em sites atrás de CDN sem restaurar o IP real do cliente: você acabará bloqueando o IP da própria CDN;
  • barreiras que atrapalham leitores com leitores de tela ou conexão lenta (por exemplo, exigir JavaScript para ver texto).

Uma ressalva de contexto: se a sua estratégia é que sistemas de IA leiam e citem o conteúdo, não bloqueie por reflexo os rastreadores que você quer. A decisão por rastreador é feita no robots.txt, conforme o glossário de robots.txt e a página sobre robots.txt para IA.

Pré-requisitos

  • Acesso aos logs de acesso do servidor.
  • Acesso à configuração do Nginx ou Apache, ou um mu-plugin.
  • Saber se o site está atrás de CDN ou proxy (para ler o IP correto).
  • Nível: avançado.

Passo a passo

  1. 01Analise os logs: quais IPs e caminhos concentram as requisições.
  2. 02Aplique limite de taxa no servidor.
  3. 03Adicione uma camada em PHP com verificação de Googlebot.
  4. 04Use o robots.txt para orientar os rastreadores que o obedecem.
  5. 05Monitore falsos positivos por duas semanas.

Passo 1: logs

Em um log no formato combinado do Apache ou Nginx, os dez IPs com mais requisições:

awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -10

E os caminhos mais pedidos por um IP suspeito:

grep '^203.0.113.9 ' /var/log/nginx/access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head

(O IP é de documentação; use o seu.) Observe o padrão: milhares de URLs de posts em sequência, sem pedir CSS, imagens ou JavaScript, é típico de coletor.

Passo 2: limite de taxa no Nginx

http {
  limit_req_zone $binary_remote_addr zone=geral:10m rate=5r/s;
}

server {
  location / {
    limit_req zone=geral burst=20 nodelay;
    limit_req_status 429;
    try_files $uri $uri/ /index.php?$args;
  }
}

rate=5r/s com burst=20 permite rajadas razoáveis de navegação e corta ritmos sustentados altos. Ajuste ao seu tráfego: páginas com muitos recursos geram várias requisições por visita. Atrás de CDN, use o módulo realip para trocar $remote_addr pelo IP real do cabeçalho confiável fornecido pelo proxy; sem isso, todos os visitantes parecem o mesmo IP.

Passo 3: camada PHP com exceção para Googlebot

Quando você não controla o servidor, um mu-plugin cobre o básico. Note que ele roda depois do carregamento do WordPress, então protege menos a CPU que o Nginx.

<?php
/**
 * Plugin Name: Limite de taxa (receita)
 */

function rs_googlebot_verificado( $ip ) {
	$chave = 'gb_' . md5( $ip );
	$cache = get_transient( $chave );
	if ( false !== $cache ) {
		return '1' === $cache;
	}
	$ok   = false;
	$nome = gethostbyaddr( $ip );
	if ( $nome && $nome !== $ip && preg_match( '/\.(googlebot|google)\.com$|\.googleusercontent\.com$/i', $nome ) ) {
		$ips = gethostbynamel( $nome ); // só IPv4; para IPv6, use dns_get_record( $nome, DNS_AAAA ).
		$ok  = is_array( $ips ) && in_array( $ip, $ips, true );
	}
	set_transient( $chave, $ok ? '1' : '0', DAY_IN_SECONDS );
	return $ok;
}

add_action( 'init', function () {
	if ( is_admin() || wp_doing_cron() || wp_doing_ajax() || is_user_logged_in() ) {
		return;
	}
	$ip = isset( $_SERVER['REMOTE_ADDR'] ) ? $_SERVER['REMOTE_ADDR'] : '';
	if ( ! filter_var( $ip, FILTER_VALIDATE_IP ) ) {
		return;
	}
	$ua = isset( $_SERVER['HTTP_USER_AGENT'] ) ? wp_unslash( $_SERVER['HTTP_USER_AGENT'] ) : '';
	if ( false !== stripos( $ua, 'googlebot' ) && rs_googlebot_verificado( $ip ) ) {
		return;
	}

	$chave = 'rl_' . md5( $ip );
	$n     = (int) get_transient( $chave );
	if ( $n >= 120 ) { // 120 requisições por minuto.
		status_header( 429 );
		header( 'Retry-After: 60' );
		exit( 'Muitas requisições. Tente novamente em instantes.' );
	}
	set_transient( $chave, $n + 1, MINUTE_IN_SECONDS );
} );

O procedimento de verificação segue o documentado pelo Google (atualizado em 20 de março de 2026): fazer a consulta DNS reversa do IP, checar se o domínio é googlebot.com, google.com ou googleusercontent.com, fazer a consulta direta desse nome e confirmar que devolve o IP original. O Google também publica arquivos com as faixas de IP de seus rastreadores, que servem à verificação automática. O código consulta o DNS só quando o User-Agent se diz Googlebot, e guarda o resultado por um dia.

Limitações: cada requisição grava um transient; em sites de alto tráfego, prefira cache de objetos (Redis/Memcached) ou o limite no Nginx. A janela é deslizante, porque cada gravação renova o prazo.

Passo 4: robots.txt

O robots.txt orienta rastreadores que o respeitam; não impede quem o ignora. Exemplo de regra para um robô específico que você decidiu recusar (troque o nome pelo user-agent publicado pelo operador):

User-agent: NomeDoRobo
Disallow: /

Decida caso a caso e registre o motivo. Bloquear um rastreador de busca por engano some com o site dos resultados desse buscador.

Armadilha opcional

Uma URL escondida (/arquivo-interno-nao-visite/), listada como Disallow no robots.txt e linkada de modo invisível, atrai quem ignora a regra. Registre os acessos a ela e use o IP para bloquear no firewall. Prefira revisão manual a bloqueio automático, para não punir um leitor que clicou por acaso.

Como testar

Critério de sucesso: o ritmo normal de navegação nunca recebe 429; um laço de requisições rápidas recebe 429; o Googlebot verificado passa; o consumo de CPU nos picos cai.

  1. Navegue normalmente por 20 páginas: nenhum bloqueio.
  2. Rode, só contra o seu site, for i in $(seq 1 200); do curl -s -o /dev/null -w "%{http_code}\n" https://seusite.com.br/; done | sort | uniq -c. Deve aparecer 429 depois do limite.
  3. No Search Console, a ferramenta de inspeção de URL busca a página ao vivo como Googlebot: confirme que a busca funciona.
  4. Acompanhe o relatório de estatísticas de rastreamento por duas semanas para detectar queda de rastreamento.
  5. Revise o log em busca de visitantes legítimos recebendo 429.

Erros comuns e como desfazer

ErroEfeitoCorreção
Limite baixo demaisleitores bloqueadosaumente rate e burst
Bloquear por User-Agent genéricorastreadores legítimos caemprefira verificação por DNS
Esquecer o IP real atrás de CDNtodos parecem um só IPrestaure o IP do cliente
Bloquear Googlebot sem quererqueda de rastreamentoverifique pelo método do Google
Exigir JavaScript para ver o textoacessibilidade e leitura por máquina prejudicadasmantenha o texto no HTML

Para desfazer, remova o bloco do Nginx e o mu-plugin e recarregue o servidor.

Checklist final

  • Logs analisados antes de agir.
  • Limite de taxa testado.
  • Googlebot verificado por DNS.
  • IP real restaurado atrás de proxy.
  • robots.txt revisado com intenção.
  • Monitoramento por duas semanas.

Próximos passos

Para ameaças de reputação e links, veja a receita contra negative SEO. O curso SEO técnico para IA e a trilha de SEO técnico aprofundam rastreadores e robots. Plugins de origem: camillodantas.com.br/plugins.

Fontes

  1. Verifying Googlebot and other Google crawlers, Google Search Central (2026-03-20)
  2. Spam policies for Google web search, Google Search Central (2026-08-28)
  3. ngx_http_limit_req_module, nginx documentation (2026-10-14)

Não sabe por onde começar?

Compare as opções e escolha a trilha pelo seu objetivo.