Como ocultar o uso de proxy dos sites

Ocultar o uso de proxy dos sites envolve principalmente utilizar proxies residenciais ou dedicados de alta qualidade, rotacionar endereços IP e gerenciar meticulosamente as configurações do navegador e das requisições de rede para evitar a detecção por reputação de IP, cabeçalhos HTTP, vazamentos de WebRTC e fingerprinting do navegador.

Entendendo os mecanismos de detecção de proxy

Os sites empregam várias técnicas para identificar e bloquear conexões originadas de proxies. Esses mecanismos vão da simples análise de cabeçalhos ao fingerprinting avançado do navegador, com o objetivo de filtrar bots automatizados, mitigar fraudes, aplicar restrições geográficas ou proteger propriedade intelectual.

Reputação de IP e listas de bloqueio

Os sites mantêm ou assinam bases de dados de endereços IP conhecidos por pertencer a data centers, VPNs ou a agentes maliciosos já identificados. Quando uma requisição vem de um IP listado nessas bases, ela é marcada como suspeita. Endereços IP com histórico de spam, credential stuffing ou outro comportamento abusivo são rapidamente adicionados a essas listas de bloqueio.

Cabeçalhos HTTP

As requisições HTTP contêm vários cabeçalhos que fornecem informações sobre o cliente, sobre a própria requisição e sobre eventuais intermediários. Os proxies costumam adicionar ou modificar cabeçalhos específicos, o que pode revelar sua presença sem querer. Cabeçalhos comuns que indicam uso de proxy incluem Via, X-Forwarded-For, Proxy-Connection e Forwarded.

Vazamentos de WebRTC

O WebRTC (Web Real-Time Communication) é uma tecnologia que habilita comunicação em tempo real nos navegadores. Embora seja útil para comunicação direta, o WebRTC pode revelar o IP real do usuário mesmo quando ele está conectado por um proxy ou VPN. Isso acontece porque o WebRTC normalmente usa servidores STUN/TURN para descobrir os endereços IP local e público do cliente para conexões ponto a ponto, contornando o proxy.

Fingerprinting do navegador

O fingerprinting do navegador agrega inúmeros pontos de dados do navegador e do dispositivo do usuário para criar um identificador único. Essa "impressão digital" pode rastrear usuários entre sites e detectar desvios das configurações típicas de navegador. Os pontos de dados incluem:
* String do User-Agent
* Resolução de tela e profundidade de cor
* Fontes instaladas
* Plugins e extensões do navegador
* Capacidades de renderização de Canvas e WebGL
* Concorrência de hardware
* Fuso horário e configurações de idioma
* Ordem dos cabeçalhos HTTP

Quando a impressão digital de um navegador é inconsistente com a origem do seu endereço IP (por exemplo, uma fingerprint típica de Windows vinda de um IP móvel), ou quando exibe características próprias de scripts automatizados, isso levanta uma bandeira vermelha.

Estratégias para ocultar o uso de proxy

Ocultar efetivamente o uso de proxy exige uma abordagem multifacetada, combinando a seleção adequada do proxy com configuração meticulosa e imitação de comportamento.

Escolha do tipo de proxy

A escolha do tipo de proxy é fundamental para evitar a detecção.

Proxies residenciais

Os proxies residenciais roteiam o tráfego por endereços IP reais atribuídos por provedores de internet (ISPs) a usuários residenciais. Esses IPs parecem legítimos aos sites porque se originam de residências e dispositivos móveis reais.

Proxies de datacenter dedicados

Os proxies de datacenter dedicados usam endereços IP de data centers comerciais, mas cada IP é reservado para um único usuário. Ainda que sejam identificáveis como IPs de datacenter, sua natureza dedicada reduz o risco de entrar em listas de bloqueio por causa das ações de outros usuários.

Proxies de datacenter compartilhados (evite)

Os proxies de datacenter compartilhados usam endereços IP divididos entre vários usuários. Esses IPs são altamente suscetíveis a bloqueio por causa do comportamento abusivo acumulado de diversos usuários e são facilmente identificáveis como IPs de datacenter.

Rotação e gestão de IPs

A rotação frequente de IPs é essencial para evitar rate limiting e detecção baseada em requisições repetidas do mesmo IP. Os sites costumam monitorar o número de requisições vindas de um endereço IP ao longo do tempo. Ultrapassar um limite pode disparar CAPTCHAs, bloqueios temporários ou banimentos permanentes.
* Rotação automática: use um serviço de proxy que rotacione IPs automaticamente após cada requisição ou em intervalos definidos (por exemplo, a cada minuto, a cada 5 minutos).
* Sessões sticky: para tarefas que exigem persistência de sessão (como fazer login), use sessões sticky que mantêm o mesmo IP por um período definido e depois rotacionam.
* Diversidade do pool de IPs: utilize proxies de faixas de IP e localizações geográficas diversas para evitar o reconhecimento de padrões pelos sites-alvo.

Gestão de cabeçalhos HTTP

Os proxies podem revelar sua presença por meio de cabeçalhos HTTP específicos. Para mitigar isso:

Cabeçalhos comuns relacionados a proxy

• Via: indica proxies ou gateways intermediários pelos quais a requisição passou.
• X-Forwarded-For: lista os endereços IP de todos os proxies que encaminharam a requisição, com o IP original do cliente no início.
• Proxy-Connection: usado pelos clientes para sinalizar preferências de conexão do proxy.
• Forwarded: cabeçalho mais recente e padronizado que combina informações de Via e X-Forwarded-For.

Modificando cabeçalhos

Configure seu cliente de proxy ou aplicação para remover ou falsificar esses cabeçalhos. Garanta que os demais cabeçalhos (por exemplo, User-Agent, Accept-Language, Accept-Encoding) sejam consistentes com um navegador típico e, se possível, correspondam à localização geográfica do proxy.

Exemplo de remoção de cabeçalhos com a biblioteca requests do Python:

import requests

proxies = {
    'http': 'http://user:[email protected]:8080',
    'https': 'http://user:[email protected]:8080'
}

# Cabeçalhos padrão enviados pela biblioteca requests
# User-Agent, Accept-Encoding, Accept, Connection normalmente são enviados
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'Connection': 'keep-alive',
    # Remova explicitamente os cabeçalhos relacionados a proxy se o cliente os adicionar
    # Observação: muitos serviços de proxy tratam disso automaticamente.
    # Se o proxy *adiciona* esses cabeçalhos, removê-los no cliente não basta.
    # O próprio proxy precisa ser configurado para não adicioná-los.
    'Via': '', # Remover ou definir como vazio
    'X-Forwarded-For': '' # Remover ou definir como vazio
}

try:
    response = requests.get('http://targetwebsite.com', proxies=proxies, headers=headers)
    print(response.status_code)
    # print(response.request.headers) # Para inspecionar os cabeçalhos realmente enviados
except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

Configuração e ambiente do navegador

Além das configurações de rede, o comportamento e as características do navegador cliente são críticos para a discrição.

Desativação do WebRTC

Desative o WebRTC no navegador ou use extensões feitas para evitar vazamentos de WebRTC. No Firefox, digite about:config na barra de endereços e defina media.peerconnection.enabled como false. Em navegadores baseados em Chromium, extensões como "WebRTC Network Limiter" ajudam a mitigar vazamentos.

Gestão da string do User-Agent

Garanta que a string User-Agent seja consistente com uma versão de navegador e um sistema operacional comuns. Atualize-a periodicamente para refletir as tendências atuais de navegadores. Evite User-Agents desatualizados ou obscuros.

Gestão de cookies e armazenamento local

Use um perfil de navegador "limpo" para cada sessão ou tarefa. Isso envolve limpar cookies, armazenamento local e dados de sessão para impedir que os sites vinculem a atividade atual a visitas anteriores ou identifiquem um padrão automatizado persistente. Navegadores antidetecção gerenciam esses perfis automaticamente.

Mitigação do fingerprinting do navegador

Mitigar o fingerprinting do navegador exige tratar vários atributos do navegador:

Canvas fingerprinting

O canvas fingerprinting usa a renderização gráfica única do navegador. Ferramentas como as extensões "Canvas Blocker" podem injetar ruído na saída do canvas, tornando a fingerprint diferente a cada vez.

WebGL fingerprinting

Semelhante ao canvas, o WebGL usa renderização 3D. Alguns navegadores antidetecção ou extensões conseguem modificar os parâmetros de renderização do WebGL.

Enumeração de fontes

Os sites conseguem detectar as fontes instaladas. Use um conjunto padrão de fontes ou um navegador antidetecção que falsifique a lista de fontes.

Detalhes de hardware e software

Falsificar detalhes como resolução de tela, número de núcleos de CPU e memória é possível com navegadores antidetecção ou frameworks especializados de automação de navegador (por exemplo, Puppeteer com puppeteer-extra-plugin-stealth). Essas ferramentas modificam as propriedades JavaScript que os sites consultam.

Segurança da conexão (SSL/TLS)

Sempre use proxies HTTPS para comunicação segura. Um proxy HTTPS criptografa o tráfego entre o seu cliente e o servidor proxy e, crucialmente, entre o servidor proxy e o site-alvo. Isso impede que intermediários inspecionem ou adulterem os dados da sua requisição e garante que o site-alvo perceba uma conexão padrão e segura.

Imitando o comportamento humano

Requisições automatizadas frequentemente exibem padrões diferentes da interação humana.

Padrões de requisição e atrasos

Introduza atrasos variáveis entre as requisições. Evite atrasos uniformes ou requisições em rajada. Imite padrões típicos de navegação humana, incluindo navegar por páginas, clicar em elementos e passar tempo no conteúdo.

Resolução de CAPTCHA

Os sites usam CAPTCHAs para distinguir humanos de bots. Implemente serviços de resolução de CAPTCHA (por exemplo, 2Captcha, Anti-Captcha) ou integre solucionadores de CAPTCHA operados por pessoas quando encontrá-los. Isso adiciona uma camada de interação semelhante à humana.

# Exemplo de adição de atrasos variáveis em Python
import time
import random

def human_like_delay(min_delay=1, max_delay=5):
    time.sleep(random.uniform(min_delay, max_delay))

# No seu loop de scraping:
# requests.get(...)
# human_like_delay()
# requests.get(...)

Combinando essas estratégias, os usuários de proxy podem reduzir significativamente a probabilidade de detecção e manter o acesso aos sites-alvo.