Proxies para Anúncios Classificados

Proxies para plataformas de classificados como Avito, OLX e Craigslist são usados para contornar restrições geográficas, gerenciar várias contas, driblar limites de requisições e viabilizar a coleta de dados em larga escala, mascarando o IP e a localização reais do usuário.

Necessidade operacional dos proxies

Plataformas de anúncios classificados implementam diversos mecanismos para evitar spam, manter o uso justo e garantir a relevância local do conteúdo. Esses mecanismos frequentemente se baseiam no monitoramento de endereços IP. Sem proxies, quem tenta executar tarefas como gerenciar várias contas de vendedor, publicar anúncios em regiões geográficas diferentes ou raspar dados públicos em escala vai esbarrar em:
* Limitação de requisições por IP: Restrições no número de publicações ou requisições vindas de um único endereço IP dentro de um período específico.
* Bloqueio geográfico: Impedimento de acesso ou publicação a partir de endereços IP fora da região-alvo.
* Vinculação de contas: Associação de várias contas a um mesmo IP, o que leva à suspensão das contas se as políticas da plataforma forem violadas.
* Desafios de CAPTCHA: Solicitações frequentes para verificar interação humana, atrapalhando processos automatizados.

Os proxies fornecem uma camada de abstração, permitindo que as requisições partam de endereços IP diferentes e, assim, contornando essas restrições.

Desafios específicos de cada plataforma

Cada plataforma de classificados apresenta desafios próprios para operações automatizadas ou multi-conta.

Avito (Rússia, CEI)

O Avito emprega sistemas sofisticados antibot e antispam. Os desafios incluem:
* Bloqueio agressivo de IPs: IPs de datacenter são identificados e bloqueados com frequência.
* Verificação por número de telefone: Muitas vezes vinculada a regiões específicas, exigindo números locais em conjunto com os proxies.
* Fingerprinting de conta: Além do IP, o Avito analisa características do navegador (User-Agent, WebGL, Canvas, fontes) para detectar automação.
* Carregamento dinâmico de conteúdo: Uso intenso de AJAX e JavaScript, exigindo um ambiente de navegador completo ou automação sofisticada com navegador headless.

OLX (global, várias regiões)

O OLX opera em diversos países, com implementações regionais específicas.
* Imposição de geolocalização: Exigência estrita de IPs locais para publicar em cidades ou países específicos. Publicar a partir de um IP não local pode resultar na remoção imediata do anúncio ou na sinalização da conta.
* Limites de requisições: Variáveis por região, geralmente atrelados ao número de anúncios ou buscas por IP.
* Análise de User-Agent: Detecção de User-Agents fora do padrão ou de cabeçalhos que não parecem de navegador.
* Gerenciamento de cookies: A persistência de sessão é crucial; o tratamento inconsistente de cookies entre IPs diferentes pode levantar suspeitas.

Craigslist (global, principalmente EUA)

O Craigslist é conhecido por sua interface relativamente mais simples, mas com detecção de spam eficaz.
* Limites de publicação por IP: Historicamente, o principal método de conter spam. Publicar anúncios demais a partir de um IP em curto período leva ao "ghosting" (anúncios que não aparecem) ou ao banimento do IP.
* Sistema de denúncias (flags): Moderação feita pela comunidade, em que várias denúncias podem remover um anúncio. Os proxies não impedem as denúncias, mas facilitam a criação de novos anúncios a partir de "identidades" diferentes.
* Exigência de consistência: Manter fingerprints de navegador consistentes, incluindo cookies e User-Agents, é essencial para não levantar suspeitas ao publicar de IPs diferentes.
* Limites por categoria: Frequências e limites de publicação diferentes se aplicam a cada categoria (por exemplo, "for sale" vs. "jobs").

Tipos de proxy e seleção

A eficácia de uma solução de proxy depende do tipo de proxy e de sua configuração, alinhados aos requisitos operacionais específicos e às medidas antibot da plataforma-alvo.

Proxies residenciais

Proxies residenciais roteiam o tráfego por endereços IP reais atribuídos por provedores de internet (ISPs) a usuários residenciais.
* Vantagens: Alto anonimato, baixa detectabilidade por sistemas antibot, já que o tráfego parece vir de usuários legítimos. Essenciais para tarefas que exigem alta confiança, como criação de contas ou publicação de anúncios.
* Desvantagens: Geralmente mais lentos e mais caros que os proxies de datacenter. A largura de banda pode ser limitada.
* Caso de uso: Recomendados para todas as operações sensíveis no Avito, OLX e Craigslist, especialmente gerenciamento de múltiplas contas, publicação e scraping de alto volume, em que a detecção é crítica.

Proxies de datacenter

Proxies de datacenter vêm de servidores hospedados em datacenters, e não de ISPs residenciais reais.
* Vantagens: Alta velocidade, alta largura de banda, custo menor.
* Desvantagens: Facilmente detectáveis por sistemas antibot avançados por causa de suas faixas de IP não residenciais. Taxa de banimento maior em plataformas com filtragem de IP rigorosa.
* Caso de uso: Adequados para pesquisa de mercado inicial, scraping de dados públicos em baixo volume ou testes, quando a detecção de IP é menos crítica. Não recomendados para publicação ou gerenciamento de contas na maioria dos sites de classificados.

Proxies móveis

Proxies móveis roteiam o tráfego por endereços IP atribuídos por operadoras móveis a dispositivos celulares (3G/4G/5G).
* Vantagens: Confiança altíssima e detectabilidade baixíssima, pois os IPs móveis costumam ser dinâmicos e compartilhados entre muitos usuários pela operadora. Ideais para contornar as medidas antibot mais rígidas.
* Desvantagens: Custo mais alto, disponibilidade limitada e velocidades potencialmente inconsistentes.
* Caso de uso: Para os cenários mais difíceis, como criar contas novas ou recuperar contas sinalizadas em plataformas muito protegidas como o Avito, onde os proxies residenciais ainda podem enfrentar problemas.

Proxies dedicados vs. compartilhados

• Proxies dedicados: Endereço IP atribuído exclusivamente a um usuário. Oferece melhor desempenho e menor risco de ser sinalizado por causa das ações de outros usuários.
• Proxies compartilhados: Endereço IP usado por vários usuários ao mesmo tempo. Mais barato, mas o desempenho pode ser inconsistente e o IP já pode estar sinalizado por atividades de outros usuários.
• Recomendação: Para operações em classificados, proxies residenciais ou móveis dedicados costumam ser preferidos para minimizar o risco.

Considerações de implementação

Uma implementação eficaz de proxy exige atenção a vários detalhes técnicos além da simples rotação de IP.

Protocolo de proxy e autenticação

A maioria dos proxies suporta HTTP/HTTPS e SOCKS5.
* HTTP/HTTPS: Padrão para tráfego web.
* SOCKS5: Protocolo de nível mais baixo, capaz de lidar com qualquer tipo de tráfego e potencialmente com melhor anonimato, por não modificar os cabeçalhos HTTP.

A autenticação normalmente é feita por usuário/senha ou por lista de IPs autorizados (whitelist).

import requests

proxies = {
    "http": "http://user:password@proxy_ip:port",
    "https": "http://user:password@proxy_ip:port",
}

try:
    response = requests.get("https://www.avito.ru", proxies=proxies, timeout=10)
    print(f"Status Code: {response.status_code}")
    print(f"Response Headers: {response.headers}")
except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

Rotação de IP e sticky sessions

• Proxies rotativos: Atribuem automaticamente um novo endereço IP a cada requisição ou após um intervalo definido. Úteis para scraping de alto volume, em que um IP novo é frequentemente vantajoso.
• Sticky sessions: Mantêm o mesmo endereço IP por um período determinado (por exemplo, 5–30 minutos) em uma dada sessão. Cruciais para processos de várias etapas, como login em conta e criação de anúncio, em que trocar de IP no meio da sessão dispararia alertas de segurança.

Gerenciamento de User-Agent

User-Agents consistentes e variados são essenciais. Usar um único User-Agent em todas as requisições, sobretudo com IPs rotativos, é um forte indício de automação. Imite User-Agents comuns de navegadores e faça a rotação de forma adequada.

Gerenciamento de cookies

Mantenha cookie jars separados e persistentes para cada conta ou sessão. Tratamento inconsistente de cookies ou armazenamentos vazios em requisições vindas de IPs diferentes levantam suspeitas.

Throttling e atrasos

Implemente atrasos aleatórios entre as requisições para imitar padrões humanos de navegação. Requisições em rajada a partir de qualquer IP, mesmo residencial, podem disparar limites de taxa ou detecção de bots. Recuo exponencial (exponential backoff) para novas tentativas também é recomendável.

Fingerprinting de navegador

Para operações avançadas, especialmente no Avito, é necessário gerenciar os fingerprints do navegador (Canvas, WebGL, fontes, resolução de tela, lista de plugins) usando navegadores headless (por exemplo, Puppeteer, Playwright) junto com os proxies.

Comparação de proxies para classificados