İlan Siteleri İçin Proxy'ler

Avito, OLX ve Craigslist gibi ilan platformları için proxy'ler; kullanıcının gerçek IP adresini ve konumunu maskeleyerek coğrafi kısıtlamaları aşmak, birden fazla hesabı yönetmek, istek limitlerini atlatmak ve büyük ölçekli veri toplamayı mümkün kılmak amacıyla kullanılır.

Proxy'lerin operasyonel gerekliliği

İlan platformları; spam'i önlemek, adil kullanımı korumak ve içeriğin yerel olarak alakalı kalmasını sağlamak için çeşitli mekanizmalar uygular. Bu mekanizmalar sıklıkla IP adresi takibine dayanır. Proxy kullanmadan birden fazla satıcı hesabını yönetmeye, farklı coğrafi bölgelerde ilan yayımlamaya veya ölçekli biçimde herkese açık veri toplamaya çalışan kullanıcılar şunlarla karşılaşır:
* IP tabanlı istek limiti: Belirli bir zaman aralığında tek bir IP adresinden yapılabilecek ilan veya istek sayısına getirilen kısıtlamalar.
* Coğrafi engelleme: Hedef bölge dışındaki IP adreslerinden erişimin veya ilan yayımlamanın engellenmesi.
* Hesap eşleştirme: Birden fazla hesabın tek bir IP ile ilişkilendirilmesi; platform politikaları ihlal edilirse hesap askıya alınmasına yol açar.
* CAPTCHA doğrulamaları: İnsan etkileşimini doğrulamak için sık sık çıkan istemler, otomatik süreçleri kesintiye uğratır.

Proxy'ler bir soyutlama katmanı sağlayarak isteklerin farklı IP adreslerinden gelmesine olanak tanır ve bu kısıtlamaları hafifletir.

Platforma özgü zorluklar

Her ilan platformu, otomatik veya çoklu hesap operasyonları için kendine özgü zorluklar barındırır.

Avito (Rusya, BDT)

Avito, gelişmiş anti-bot ve anti-spam sistemleri kullanır. Zorluklar şunlardır:
* Agresif IP engelleme: Veri merkezi IP'leri sıklıkla tespit edilip engellenir.
* Telefon numarası doğrulaması: Genellikle belirli bölgelere bağlıdır; proxy'lerin yanında yerel telefon numaraları gerektirir.
* Hesap fingerprinting'i: Avito, IP'nin ötesinde otomasyonu tespit etmek için tarayıcı özelliklerini (User-Agent, WebGL, Canvas, yazı tipleri) analiz eder.
* Dinamik içerik yükleme: AJAX ve JavaScript yoğun kullanılır; tam bir tarayıcı ortamı veya gelişmiş headless tarayıcı otomasyonu gerekir.

OLX (küresel, çeşitli bölgeler)

OLX, bölgesel uygulamaları farklılık gösteren çok sayıda ülkede faaliyet gösterir.
* Konum zorunluluğu: Belirli şehir veya ülkelerde ilan vermek için yerel IP adreslerine sıkı biçimde uyulması gerekir. Yerel olmayan bir IP'den ilan vermek, ilanın anında kaldırılmasına veya hesabın işaretlenmesine yol açabilir.
* İstek limitleri: Bölgeye göre değişir; genellikle IP başına ilan veya arama sayısına bağlıdır.
* User-Agent analizi: Standart dışı User-Agent'ların veya tarayıcıya benzer başlıkların eksikliğinin tespiti.
* Çerez yönetimi: Oturum sürekliliği kritiktir; farklı IP'ler arasında tutarsız çerez yönetimi şüphe uyandırabilir.

Craigslist (küresel, ağırlıklı olarak ABD)

Craigslist görece daha basit arayüzüyle bilinir, ancak spam tespiti etkilidir.
* IP tabanlı ilan limitleri: Tarihsel olarak spam'i sınırlamanın başlıca yöntemi. Kısa sürede tek bir IP'den çok fazla ilan vermek "ghosting"e (ilanların görünmemesi) veya IP yasağına yol açar.
* Şikâyet (flag) sistemi: Topluluk temelli moderasyon; birden fazla şikâyet bir ilanı kaldırabilir. Proxy'ler şikâyeti engellemez ancak farklı "kimliklerden" yeni ilanlar oluşturmayı kolaylaştırır.
* Tutarlılık gereksinimi: Farklı IP'lerden ilan verirken şüphe çekmemek için çerezler ve User-Agent'lar dahil tarayıcı fingerprint'lerinin tutarlı tutulması şarttır.
* Kategoriye özgü limitler: Farklı kategorilerde (örneğin "for sale" ile "jobs") farklı ilan sıklıkları ve limitleri geçerlidir.

Proxy türleri ve seçimi

Bir proxy çözümünün etkinliği; proxy türüne ve yapılandırmasına, operasyonel gereksinimlerle ve hedef platformun anti-bot önlemleriyle ne kadar uyumlu olduğuna bağlıdır.

Residential proxy'ler

Residential proxy'ler, trafiği internet servis sağlayıcıları (ISP) tarafından ev kullanıcılarına atanan gerçek IP adresleri üzerinden yönlendirir.
* Avantajları: Yüksek anonimlik; trafik meşru kullanıcı trafiği gibi göründüğünden anti-bot sistemleri tarafından zor tespit edilir. Hesap açma veya ilan verme gibi yüksek güven gerektiren işler için gereklidir.
* Dezavantajları: Veri merkezi proxy'lerine göre genellikle daha yavaş ve daha pahalıdır. Bant genişliği sınırlı olabilir.
* Kullanım alanı: Avito, OLX ve Craigslist üzerindeki tüm hassas işlemler için önerilir; özellikle çoklu hesap yönetimi, ilan verme ve tespitin kritik olduğu yüksek hacimli scraping.

Veri merkezi proxy'leri

Veri merkezi proxy'leri, gerçek residential ISP'lerden değil, veri merkezlerinde barındırılan sunuculardan gelir.
* Avantajları: Yüksek hız, yüksek bant genişliği, düşük maliyet.
* Dezavantajları: Residential olmayan IP aralıkları nedeniyle gelişmiş anti-bot sistemlerince kolayca tespit edilir. Katı IP filtrelemesi olan platformlarda yasaklanma oranı daha yüksektir.
* Kullanım alanı: IP tespitinin daha az kritik olduğu ilk pazar araştırması, düşük hacimli herkese açık veri scraping'i veya test amaçlı kullanım için uygundur. Çoğu ilan sitesinde ilan verme veya hesap yönetimi için önerilmez.

Mobil proxy'ler

Mobil proxy'ler trafiği, mobil operatörlerin mobil cihazlara atadığı IP adresleri (3G/4G/5G) üzerinden yönlendirir.
* Avantajları: Son derece yüksek güven ve çok düşük tespit edilebilirlik; mobil IP'ler çoğunlukla dinamiktir ve operatör tarafından birçok kullanıcı arasında paylaşılır. En sıkı anti-bot önlemlerini aşmak için idealdir.
* Dezavantajları: En yüksek maliyet, sınırlı erişilebilirlik ve olası hız dalgalanmaları.
* Kullanım alanı: Residential proxy'lerin bile sorun yaşayabildiği Avito gibi yoğun korumalı platformlarda yeni hesap oluşturma veya işaretlenmiş hesapları kurtarma gibi en zorlu senaryolar için.

Özel (dedicated) ve paylaşımlı proxy'ler

• Özel proxy'ler: Tek bir kullanıcıya özel atanan IP adresi. Daha iyi performans sunar ve başka kullanıcıların eylemleri nedeniyle işaretlenme riskini azaltır.
• Paylaşımlı proxy'ler: Aynı anda birden fazla kullanıcı tarafından kullanılan IP adresi. Daha ucuzdur, ancak performans tutarsız olabilir ve IP diğer kullanıcıların faaliyetleri nedeniyle zaten işaretlenmiş olabilir.
• Öneri: İlan platformu operasyonlarında riski en aza indirmek için genellikle özel residential veya mobil proxy'ler tercih edilir.

Uygulama hususları

Etkili bir proxy kurulumu, yalnızca IP rotasyonunun ötesinde birkaç teknik ayrıntıya dikkat etmeyi gerektirir.

Proxy protokolü ve kimlik doğrulama

Proxy'lerin çoğu HTTP/HTTPS ve SOCKS5 destekler.
* HTTP/HTTPS: Web trafiği için standarttır.
* SOCKS5: Daha alt seviye bir protokoldür, her tür trafiği taşıyabilir ve HTTP başlıklarını değiştirmediği için potansiyel olarak daha iyi anonimlik sağlar.

Kimlik doğrulama genellikle kullanıcı adı/parola ile ya da IP whitelist ile yapılır.

import requests

proxies = {
    "http": "http://user:password@proxy_ip:port",
    "https": "http://user:password@proxy_ip:port",
}

try:
    response = requests.get("https://www.avito.ru", proxies=proxies, timeout=10)
    print(f"Status Code: {response.status_code}")
    print(f"Response Headers: {response.headers}")
except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

IP rotasyonu ve sticky oturumlar

• Rotasyonlu proxy'ler: Her istekte veya belirli bir aralık sonunda otomatik olarak yeni bir IP adresi atar. Taze IP'nin sık sık avantaj sağladığı yüksek hacimli scraping için kullanışlıdır.
• Sticky oturumlar: Belirli bir oturum için aynı IP adresini belirli bir süre (örneğin 5–30 dakika) korur. Hesaba giriş yapma ve ilan oluşturma gibi çok adımlı süreçlerde kritiktir; oturum ortasında IP değişimi güvenlik uyarılarını tetikler.

User-Agent yönetimi

Tutarlı ve çeşitli User-Agent kullanımı kritiktir. Tüm isteklerde tek bir User-Agent kullanmak, özellikle rotasyonlu IP'lerle birlikte, güçlü bir otomasyon göstergesidir. Yaygın tarayıcı User-Agent'larını taklit edin ve bunları uygun şekilde döndürün.

Çerez yönetimi

Her hesap veya oturum için ayrı ve kalıcı çerez kavanozları (cookie jar) tutun. Farklı IP'lerden gelen isteklerde tutarsız çerez yönetimi veya boş çerez depoları şüphe uyandırır.

Throttling ve gecikmeler

İnsan gezinme davranışını taklit etmek için istekler arasına rastgele gecikmeler koyun. Residential olsa bile herhangi bir IP'den art arda hızlı istek göndermek istek limitlerini veya bot tespitini tetikleyebilir. Yeniden denemelerde üstel geri çekilme (exponential backoff) da tavsiye edilir.

Tarayıcı fingerprinting'i

İleri düzey operasyonlarda, özellikle Avito'da, proxy'lerin yanı sıra headless tarayıcılar (örneğin Puppeteer, Playwright) kullanarak tarayıcı fingerprint'lerini (Canvas, WebGL, yazı tipleri, ekran çözünürlüğü, eklenti listeleri) yönetmek gerekir.

İlan platformları için proxy karşılaştırması