Proxies distorcivos

Proxies distorcivos modificam os cabeçalhos de requisição e resposta HTTP para ocultar ou alterar as informações originais do cliente antes de encaminhá-las ao servidor de destino ou de volta ao cliente.

Entendendo os proxies distorcivos

Um proxy distorcivo funciona alterando, adicionando ou removendo ativamente cabeçalhos HTTP tanto nas requisições do cliente para o servidor quanto nas respostas do servidor para o cliente. Diferentemente dos proxies transparentes, que repassam as requisições sem modificação, ou dos proxies anônimos, que podem apenas remover o X-Forwarded-For mas ainda assim se identificam, os proxies distorcivos representam de forma deliberadamente falsa os dados do cliente ou do proxy. Essa manipulação visa principalmente aumentar o anonimato, contornar restrições de conteúdo ou viabilizar comportamentos específicos de aplicações.

Comparação dos tipos de proxy

Objetivo da manipulação de cabeçalhos

A manipulação de cabeçalhos por proxies distorcivos atende a diversos objetivos técnicos:

• Anonimato ampliado: ocultar o endereço IP original do cliente, o sistema operacional, o navegador e outras características identificadoras.
• Contorno de restrições: driblar bloqueios geográficos de conteúdo, controles de acesso baseados em IP ou entrega de conteúdo específica por user-agent.
• Web scraping e automação: simular ambientes de usuário diversos para evitar detecção e limitação de taxa por sistemas anti-bot.
• Segurança: remover cabeçalhos potencialmente sensíveis ou adicionar cabeçalhos de segurança para lógicas específicas da aplicação.
• Testes e desenvolvimento: simular várias configurações de cliente ou condições de rede para testar aplicações.

Cabeçalhos comumente manipulados

Proxies distorcivos atuam sobre cabeçalhos HTTP específicos para atingir seus objetivos.

X-Forwarded-For

Esse cabeçalho identifica o endereço IP de origem de um cliente que se conecta a um servidor web por meio de um proxy HTTP ou balanceador de carga.
* Comportamento padrão: proxies normalmente acrescentam o IP do cliente a esse cabeçalho.
* Distorção: um proxy distorcivo pode remover esse cabeçalho por completo, substituí-lo pelo próprio IP do proxy ou inserir um endereço IP fabricado.
* Implicação: remover ou falsificar esse cabeçalho impede que o servidor de destino registre o IP real do cliente, aumentando o anonimato.

User-Agent

O cabeçalho User-Agent contém uma string característica que permite aos participantes do protocolo de rede identificar o tipo de aplicação, o sistema operacional, o fornecedor do software ou a versão do software do cliente que faz a requisição.
* Comportamento padrão: o navegador envia sua string User-Agent específica.
* Distorção: proxies podem modificar esse cabeçalho para se passar por outro navegador, sistema operacional ou dispositivo.
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36
Pode ser alterado para:
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1
* Implicação: contornar filtros de conteúdo específicos por navegador, acessar conteúdo otimizado para celular ou escapar de mecanismos de detecção de bots que colocam determinados user agents em lista branca.

Referer

O cabeçalho Referer contém a URL da página que apontou para o recurso solicitado.
* Comportamento padrão: o navegador envia a URL da página anterior.
* Distorção: proxies podem remover esse cabeçalho para impedir o rastreamento de origem ou substituí-lo por outra URL para induzir o servidor de destino ao erro sobre a origem da requisição.
* Implicação: mais privacidade, já que os sites não sabem a fonte do tráfego, ou falsificação de fontes de tráfego para manipular análises.

Accept-Language

Esse cabeçalho indica o idioma natural e o locale que o cliente prefere.
* Comportamento padrão: o navegador envia os idiomas preferidos conforme as configurações do usuário.
* Distorção: proxies podem alterar esse cabeçalho para simular um cliente de outra região geográfica ou com preferências de idioma diferentes.
Accept-Language: en-US,en;q=0.9,es;q=0.8
Pode ser alterado para:
Accept-Language: fr-FR,fr;q=0.9,en;q=0.8
* Implicação: contornar georrestrições baseadas em configurações de idioma ou testar a localização de conteúdo.

Via

O cabeçalho Via é adicionado por proxies para indicar o protocolo e o destinatário (host e porta) para o qual a requisição foi recebida.
* Comportamento padrão: proxies adicionam o próprio identificador.
* Distorção: um proxy distorcivo pode remover esse cabeçalho ou modificar seu conteúdo para esconder a presença de proxies intermediários ou representar falsamente a própria identidade.
* Implicação: obscurecer ainda mais a cadeia de proxies e aumentar o anonimato.

Proxy-Connection / Connection

Esses cabeçalhos gerenciam o comportamento da conexão entre cliente, proxy e servidor.
* Comportamento padrão: Proxy-Connection é usado para o gerenciamento de conexão específico do proxy, enquanto Connection é fim a fim.
* Distorção: proxies podem manipular esses cabeçalhos para controlar a persistência da conexão (por exemplo, Keep-Alive, Close) ou para garantir o tratamento adequado entre camadas de proxy.
* Implicação: otimizar o uso de recursos de rede ou garantir compatibilidade com configurações específicas de servidor.

Cabeçalhos personalizados

Proxies também podem introduzir ou modificar cabeçalhos personalizados, muitas vezes com o prefixo X-, para lógicas específicas da aplicação ou roteamento interno.
* Comportamento padrão: não presentes em requisições padrão de clientes.
* Distorção: adicionar cabeçalhos como X-Proxy-ID com um ID falso ou remover quaisquer cabeçalhos personalizados existentes que possam revelar informações.
* Implicação: viabilizar comunicação interna entre proxies, testes A/B ou propagação de tokens de segurança.

Mecanismos de manipulação de cabeçalhos

Serviços de proxy implementam a manipulação de cabeçalhos por diversos mecanismos, normalmente configurados via ajustes de software ou código.

Configuração do servidor proxy

Servidores web que atuam como proxies reversos (por exemplo, Nginx, Apache HTTP Server) oferecem diretivas para modificação de cabeçalhos.

Exemplo com Nginx

server {
    listen 80;
    server_name example.com;

    location / {
        proxy_pass http://backend_server;

        # Remove X-Forwarded-For para aumentar o anonimato
        proxy_set_header X-Forwarded-For "";
        # Ou define um IP falso
        # proxy_set_header X-Forwarded-For "192.0.2.1"; 

        # Modifica o User-Agent
        proxy_set_header User-Agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Firefox/100.0";

        # Remove o cabeçalho Referer
        proxy_set_header Referer "";

        # Adiciona um cabeçalho personalizado
        proxy_set_header X-Proxy-Served-By "DistortingProxy v1.0";

        # Oculta o cabeçalho Via
        proxy_hide_header Via;
    }
}

• proxy_set_header: sobrescreve ou adiciona um cabeçalho.
• proxy_hide_header: impede que um cabeçalho seja repassado ao cliente.
• proxy_pass_header: repassa explicitamente um cabeçalho que, de outra forma, ficaria oculto.

Software/bibliotecas de proxy personalizados

Soluções de proxy dedicadas (por exemplo, Squid, ou proxies customizados em Python/Node.js) permitem controle programático sobre os cabeçalhos.

Exemplo conceitual de proxy em Python

import socket
import threading

def handle_client(client_socket):
    request_data = client_socket.recv(4096)
    headers = request_data.decode('utf-8').split('\r\n')

    modified_headers = []
    host = None
    for header in headers:
        if header.startswith("Host:"):
            host = header.split(" ")[1]
            modified_headers.append(header) # Mantém o Host para o roteamento
        elif header.startswith("User-Agent:"):
            modified_headers.append("User-Agent: Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Mobile Safari/537.36")
        elif header.startswith("X-Forwarded-For:"):
            # Remove o X-Forwarded-For
            continue 
        elif header.startswith("Referer:"):
            # Define um Referer falso
            modified_headers.append("Referer: http://www.example.com/fake-source")
        else:
            modified_headers.append(header)

    modified_request = "\r\n".join(modified_headers) + "\r\n\r\n"

    # Encaminha para o servidor de destino
    if host:
        try:
            target_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
            target_socket.connect((host, 80))
            target_socket.sendall(modified_request.encode('utf-8'))

            response_data = target_socket.recv(4096)
            client_socket.sendall(response_data)
        except Exception as e:
            print(f"Error connecting to target: {e}")
        finally:
            target_socket.close()

    client_socket.close()

def start_proxy(port):
    proxy_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    proxy_socket.bind(('', port))
    proxy_socket.listen(5)
    print(f"Proxy listening on port {port}")

    while True:
        client_socket, addr = proxy_socket.accept()
        print(f"Accepted connection from {addr[0]}:{addr[1]}")
        client_handler = threading.Thread(target=handle_client, args=(client_socket,))
        client_handler.start()

if __name__ == "__main__":
    start_proxy(8080)

Esse exemplo simplificado demonstra como um proxy personalizado pode analisar os cabeçalhos recebidos e reescrever alguns deles antes de encaminhar a requisição.

Implicações práticas

• Evasão de anti-bot: ao rotacionar o User-Agent e ocultar o X-Forwarded-For, operações de web scraping podem parecer tráfego legítimo e diverso de usuários, reduzindo a chance de bloqueio.
• Contorno de georrestrições: alterar o Accept-Language ou remover cabeçalhos que identificam a localização pode liberar o acesso a conteúdo específico de região.
• Teste de postura de segurança: organizações podem usar proxies distorcivos para testar como suas aplicações web respondem a cabeçalhos inesperados ou malformados, identificando possíveis vulnerabilidades.
• Testes A/B e personalização de conteúdo: proxies podem injetar cabeçalhos personalizados para forçar variantes específicas de conteúdo ou regras de personalização em testes.

Riscos e considerações

Embora poderosa, a manipulação de cabeçalhos traz riscos:

• Quebra de funcionalidade do site: modificações de cabeçalho excessivamente agressivas ou incorretas podem quebrar o funcionamento do site, causando erros ou renderização incompleta do conteúdo. Sites costumam depender de cabeçalhos específicos para gerenciamento de sessão, autenticação ou entrega de conteúdo.
• Detecção por sistemas avançados: sistemas sofisticados de anti-bot e detecção de fraude analisam mais do que apenas cabeçalhos. Eles consideram padrões comportamentais, fingerprinting de JavaScript e reputação de IP, o que a manipulação de cabeçalhos sozinha não consegue neutralizar. Inconsistências entre cabeçalhos manipulados (por exemplo, um User-Agent de desktop com padrões de requisição típicos de celular) podem levantar suspeitas.
• Questões legais e éticas: representar falsamente informações do cliente pode ter consequências legais, especialmente quando usado para burlar termos de serviço, acessar dados restritos ou praticar atividades maliciosas.
• Sobrecarga de desempenho: o processo de analisar, modificar e remontar cabeçalhos adiciona latência a cada requisição, podendo impactar a velocidade e a responsividade do serviço de proxy.
• Riscos de configuração incorreta: configurações de proxy erradas podem expor inadvertidamente informações do cliente, não alcançar o anonimato desejado ou criar vulnerabilidades de segurança na própria infraestrutura de proxy.