Emlak Scraping için Proxy'ler

CIAN, Zillow ve Realtor.com gibi platformlarda emlak verisi toplarken proxy'ler vazgeçilmezdir: coğrafi kısıtlamaları aşmak, IP tabanlı engellemeleri geçmek, istek hızını yönetmek ve veri toplama sırasında anonim kalmak için gereklidir.

Emlak verisi toplamanın zorlukları

Emlak siteleri, verilerini ve altyapılarını korumak için çeşitli anti-bot önlemleri uygular. Bu önlemler şunlardır:
* IP tabanlı engelleme: Çok fazla istek yapan veya insana benzemeyen gezinme davranışı gösteren IP adreslerini tespit edip engellemek.
* Rate limiting: Belirli IP'lerden veya user agent'lardan gelen istekleri kısıtlamak.
* Coğrafi kısıtlamalar: Kullanıcının coğrafi konumuna göre farklı içerik göstermek veya erişimi engellemek.
* CAPTCHA'lar: Genellikle şüpheli etkinlikle tetiklenen, insan etkileşimini doğrulayan sorular sunmak.
* Gelişmiş bot tespiti: Otomatik scriptleri belirlemek için JavaScript sınamaları, tarayıcı parmak izi ve davranış analizi kullanmak.
* Dinamik içerik yükleme: Verileri JavaScript ile yüklemek; bu da headless tarayıcı veya gelişmiş parse tekniklerini gerektirir.

Etkili scraping, bu zorlukları aşmak ve kamuya açık verilere kesintisiz erişim sağlamak için sağlam bir proxy altyapısı gerektirir.

Emlak scraping için proxy türleri

Proxy türü seçimi, scraping başarı oranını ve maliyetleri belirgin biçimde etkiler.

Residential proxy'ler

Residential proxy'ler trafiği, internet servis sağlayıcılarının (ISP) ev kullanıcılarına atadığı gerçek IP adresleri üzerinden yönlendirir.
* Avantajlar: Yüksek anonimlik, proxy olarak tespit edilmesi zor, coğrafi kısıtlamaları ve gelişmiş anti-bot sistemlerini aşmak için mükemmel. Gerçek kullanıcı trafiğini taklit ederler.
* Dezavantajlar: Veri merkezi proxy'lerine kıyasla GB başına maliyet genellikle daha yüksektir.
* Öneri: Güçlü anti-bot savunmaları nedeniyle CIAN, Zillow ve Realtor.com için birincil tercih.

Veri merkezi proxy'leri

Veri merkezi proxy'leri ticari veri merkezlerinden gelir.
* Avantajlar: Yüksek hız, GB başına düşük maliyet, geniş IP havuzları.
* Dezavantajlar: Gelişmiş anti-bot sistemleri tarafından kolayca tespit edilir; IP'ler çoğunlukla bilinen alt ağları paylaşır, bu da hassas sitelerde hızlı engellenmeye yol açar.
* Öneri: CIAN, Zillow veya Realtor.com için önerilmez. Esas olarak daha az korumalı hedefler veya ilk keşif için uygundur.

Mobil proxy'ler

Mobil proxy'ler, mobil şebeke operatörlerinin mobil cihazlara atadığı IP adreslerini kullanır.
* Avantajlar: Hedef sitelerin gözünde en yüksek güven seviyesi, çünkü mobil IP'ler nadiren engellenir. Gelişmiş bot tespitine karşı oldukça etkilidir.
* Dezavantajlar: Çok yüksek maliyet, residential proxy'lere kıyasla sınırlı IP mevcudiyeti.
* Öneri: Aşırı zorlu hedefler için veya diğer proxy türleri işe yaramadığında değerlendirin; standart emlak scraping için genellikle gereğinden fazla ve maliyeti caydırıcıdır.

Rotasyonlu proxy'ler ve sticky oturumlar

• Rotasyonlu proxy'ler: Her istekte veya belirli bir süre sonra otomatik olarak yeni bir IP adresi atar. Bu, istekleri çok sayıda IP'ye dağıtarak tek bir IP'nin engellenme olasılığını azaltır. Büyük ölçekli veri toplama için şarttır.
• Sticky oturumlar: Aynı IP adresini belirli bir süre (örneğin 10 dakika, 30 dakika) korur. Scraping sırasında oturumun korunması gerektiğinde veya IP tutarlılığının işe yaradığı çok sayfalı ilan listelerinde gezinirken kullanışlıdır.

Belirli emlak platformlarında scraping

Her platform kendine özgü zorluklar sunar ve kendine uygun proxy stratejisi gerektirir.

CIAN (ЦИАН)

• Ana pazar: Rusya ve BDT ülkeleri.
• Zorluklar: CIAN gelişmiş anti-bot önlemleri ve coğrafi kısıtlamalar uygular; Rusya dışı IP'leri veya şüpheli trafiği etkin biçimde engeller. Site yapısı karmaşık olabilir ve sıklıkla dinamik içerik yüklemesi kullanır.
• Proxy stratejisi:
  • Residential proxy'ler: Zorunlu. IP'leri Rusya'ya veya Rusya'daki belirli büyük şehirlere (örneğin Moskova, Saint Petersburg) coğrafi olarak hedefleyin.
  • Rotasyon: Özellikle ilan detaylarını çekerken veya arama sonuçlarında gezinirken hız limitlerine takılmamak için sık IP rotasyonu kullanın.
  • User-Agent'lar: Gerçekçi, tarayıcıya benzeyen User-Agent dizelerini döndürün.
  • Header'lar: Accept-Language header'ının Rusça (ru-RU,ru;q=0.9) olarak ayarlandığından emin olun.
• Önemli veri noktaları: İlan detayları, fiyatlar, emlakçı iletişim bilgileri, mülk özellikleri, konum verileri.

Zillow

• Ana pazar: Amerika Birleşik Devletleri.
• Zorluklar: Zillow agresif anti-bot ve CAPTCHA uygulamasıyla bilinir. Doğru proxy yönetimi olmadan yüksek hacimli scraping, anında IP yasağı veya CAPTCHA sınamalarıyla sonuçlanır. İçerik oluşturmak için büyük ölçüde JavaScript'e dayanır.
• Proxy stratejisi:
  • Residential proxy'ler: Şart. IP'leri verisi toplanan belirli ABD eyaletlerine veya bölgelerine coğrafi olarak hedefleyin.
  • Sticky oturumlar: Çok sayfalı ilanlarda gezinirken veya arama filtreleriyle etkileşirken tutarlı bir gezinme kimliği korumak için kısa süreli (örneğin 5-10 dakika) sticky oturumlar kullanmayı değerlendirin.
  • User-Agent'lar: Yaygın masaüstü ve mobil tarayıcı User-Agent'larını taklit edin.
  • Headless tarayıcılar: JavaScript'i çalıştırmak ve dinamik içeriği oluşturmak için genellikle Puppeteer veya Selenium gibi araçlarla birlikte gereklidir; proxy'ler yeterince sağlam değilse bu, anti-bot sistemlerini tetikleme olasılığını artırır.
• Önemli veri noktaları: Mülk detayları, geçmiş satış verileri, Zestimate değerleri, vergi bilgileri, emlakçı bilgileri, mahalle verileri.

Realtor.com

• Ana pazar: Amerika Birleşik Devletleri ve Kanada.
• Zorluklar: Zillow'a benzer şekilde Realtor.com da sağlam anti-bot savunmaları uygular. Bazen Zillow'dan biraz daha az agresif algılansa da, yönetilmeyen sürekli scraping yine engellenmeye yol açar. Dinamik içerik yüklemesi yaygındır.
• Proxy stratejisi:
  • Residential proxy'ler: Önerilir. IP'leri belirli ABD veya Kanada bölgelerine coğrafi olarak hedefleyin.
  • Rotasyon: Rotasyon sıklığını dengeleyin. Çok sık rotasyon, bir gezinme oturumu için doğal görünmediğinde tespiti tetikleyebilir.
  • User-Agent'lar ve header'lar: Gerçekçi tarayıcı header'ları ve User-Agent'ları koruyun.
  • Referer header'ları: Meşru gezinmeyi taklit etmek için uygun Referer header'larını ekleyin.
• Önemli veri noktaları: İlan detayları, mülk geçmişi, emlakçı iletişim bilgileri, okul bölgeleri, mahalle demografisi.

Proxy yönetimi ve scraping için en iyi uygulamalar

Proxy'leri etkin kullanmak, doğru türü seçmekten ibaret değildir.

İstek throttling

İnsan gezinme kalıplarını taklit etmek için istekler arasına gecikmeler koyun. Tahmin edilebilir kalıplardan kaçınmak için gecikmeleri rastgeleleştirin.

User-Agent rotasyonu

Çeşitli ve gerçekçi User-Agent dizelerinden oluşan bir havuz tutun (örneğin Windows'ta Chrome, macOS'ta Firefox, iOS'ta Safari) ve bunları her istekte veya her oturumda değiştirin.

Header yönetimi

Her istekte eksiksiz ve meşru bir HTTP header seti gönderin (Accept, Accept-Encoding, Accept-Language, Connection, Referer vb.). Eksik veya tutarsız header'lar isteklerin otomatik olarak işaretlenmesine yol açabilir.

Cookie yönetimi

Cookie'leri doğru şekilde yönetin. Gerekli olduğunda oturum durumunu korumak için hedef siteden gelen cookie'leri saklayın ve geri gönderin. Yeni bir kimlik isteniyorsa yeni oturumlar için cookie'leri temizleyin.

Hata yönetimi

403 (Forbidden), 429 (Too Many Requests) gibi HTTP durum kodları ve CAPTCHA sınamaları için sağlam hata yönetimi uygulayın. 403 veya 429 genellikle IP engeli ya da hız limiti anlamına gelir ve proxy değişimini gerektirir.

CAPTCHA çözme

Zillow gibi CAPTCHA'sı yoğun siteler için üçüncü taraf CAPTCHA çözme servisleriyle (örneğin 2Captcha, Anti-Captcha) entegre olun ya da CAPTCHA bypass çözümleri sunan bir proxy sağlayıcısı kullanın.

JavaScript render'ı

Büyük ölçüde JavaScript'e dayanan sitelerde (üç platform da öyle) proxy'lerle birlikte headless tarayıcılar (örneğin Puppeteer, Playwright, undetected_chromedriver ile Selenium) kullanmayı değerlendirin. Bu ek yük getirir ama içeriğin tam olarak render edilmesini sağlar.

Kod örneği: Python Requests ile proxy kullanımı

Bu örnek, Python requests kütüphanesiyle bir residential proxy üzerinden nasıl istek yapılacağını gösterir.

import requests
import random
import time

# Residential proxy listesi (kendi gerçek proxy listenizle değiştirin)
# Biçim: "http://user:password@ip:port" veya "http://ip:port"
PROXIES = [
    "http://user1:[email protected]:8000",
    "http://user2:[email protected]:8000",
    # ... daha fazla proxy
]

# Yaygın User-Agent dizeleri listesi
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Firefox/109.0",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Firefox/109.0",
]

def make_proxied_request(url, proxy_list, user_agent_list, retries=3):
    for attempt in range(retries):
        proxy = random.choice(proxy_list)
        user_agent = random.choice(user_agent_list)
        proxies = {
            "http": proxy,
            "https": proxy,
        }
        headers = {
            "User-Agent": user_agent,
            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
            "Accept-Language": "en-US,en;q=0.5",
            "Accept-Encoding": "gzip, deflate, br",
            "Connection": "keep-alive",
            "Upgrade-Insecure-Requests": "1",
        }

        try:
            print(f"Attempt {attempt + 1}: Fetching {url} via {proxy} with User-Agent: {user_agent[:50]}...")
            response = requests.get(url, proxies=proxies, headers=headers, timeout=15)
            response.raise_for_status()  # Hatalı yanıtlarda (4xx veya 5xx) HTTPError fırlatır
            print(f"Success! Status Code: {response.status_code}")
            return response
        except requests.exceptions.RequestException as e:
            print(f"Request failed: {e}. Retrying with a different proxy...")
            time.sleep(random.uniform(5, 15)) # Yeniden denemeden önce bekle
    print("All retry attempts failed.")
    return None

# Örnek kullanım:
# target_url_cian = "https://www.cian.ru/rent/flat/288593457/" # Örnek CIAN ilanı
# target_url_zillow = "https://www.zillow.com/homedetails/123-Main-St-Anytown-NY-12345/12345678_zpid/" # Örnek Zillow ilanı
# target_url_realtor = "https://www.realtor.com/realestateandhomes-detail/123-Main-St-Anytown-NY-12345/12345678" # Örnek Realtor.com ilanı

# response = make_proxied_request(target_url_zillow, PROXIES, USER_AGENTS)
# if response:
#     print(response.text[:500]) # Yanıtın ilk 500 karakterini yazdır

Karşılaştırma: emlak scraping için proxy türleri

Karşılaştırma: CIAN, Zillow ve Realtor.com scraping değerlendirmeleri