Fiyat takibi için proxy'ler

Fiyat takibi için proxy'ler

Rakip fiyat takibi, e-ticaret stratejisinin önemli bir parçasıdır. Proxy'ler fiyat verilerini engellenmeden toplamanıza yardımcı olur.

Fiyat takibi neden gerekli

• Rekabetçi fiyatlandırma — fiyatları piyasa seviyesinde tutun
• İndirimleri tespit etme — rakiplerin indirimlerine tepki verin
• Trend analizi — pazar dinamiklerini anlayın
• MAP uyumu — minimum fiyat kurallarına uyumu izleyin

Proxy'ler neden gerekli

E-ticaret siteleri parsing'e karşı aktif olarak korunur:
- Rate limiting
- CAPTCHA
- IP engelleme
- Davranış analizi

Çözüm mimarisi

┌─────────────────┐     ┌──────────────┐     ┌─────────────┐
│ Your Server     │────▶│ Proxy Pool   │────▶│ Competitor  │
│ (script/crawler)│     │ (Residential)│     │ Sites       │
└─────────────────┘     └──────────────┘     └─────────────┘
         │                                          │
         └──────────── Price Data ◀─────────────────┘

Veri toplama stratejisi

1. Proxy seçimi

• Korumalı siteler (Amazon, eBay) için Residential proxy'ler
• Basit siteler için veri merkezi proxy'leri
• Bölgesel fiyatlar için geo-targeting

2. IP rotasyonu

# Her ürün için yeni IP
for product_url in products:
    proxy = get_rotating_proxy()
    price = scrape_price(product_url, proxy)
    save_price(product_url, price)

3. Davranış taklidi

import random
import time

# Rastgele gecikmeler
time.sleep(random.uniform(2, 5))

# Farklı User-Agent'lar
headers = {'User-Agent': random.choice(user_agents)}

Kod örneği

import requests
from bs4 import BeautifulSoup

def get_price(url, proxy):
    proxies = {
        'http': f'http://user:pass@{proxy}',
        'https': f'http://user:pass@{proxy}'
    }

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...'
    }

    response = requests.get(url, proxies=proxies, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    # Amazon örneği
    price = soup.select_one('.a-price-whole')
    return price.text if price else None

# Rotasyon ile kullanım
from gproxy import ProxyPool

pool = ProxyPool(api_key='your_key')

for product in products:
    proxy = pool.get_proxy(country='US')
    price = get_price(product['url'], proxy)
    print(f"{product['name']}: ${price}")

Öneriler

1. Yükü dağıtın — alan adı başına saniyede 1 istekten fazlasını göndermeyin
2. Önbellek kullanın — aynı URL'yi sık sık parse etmeyin
3. Kaliteyi izleyin — verilerin güncelliğini kontrol edin
4. robots.txt dosyasına saygı gösterin — ya da sonuçlarına hazır olun
5. Geçmişi saklayın — trend analizi için

Araçlar

• Scrapy + proxy middleware
• JS render için Selenium
• Alternatif olarak Playwright
• Hazır çözümler: Price2Spy, Prisync