Прокси для мониторинга цен

Мониторинг цен конкурентов — важная часть e-commerce стратегии. Прокси помогают собирать данные о ценах без блокировок.

Зачем нужен мониторинг цен

• Конкурентное ценообразование — держать цены на уровне рынка
• Выявление акций — реагировать на скидки конкурентов
• Анализ трендов — понимать динамику рынка
• MAP compliance — следить за соблюдением минимальных цен

Почему нужны прокси

E-commerce сайты активно защищаются от парсинга:
- Rate limiting
- CAPTCHA
- Блокировка по IP
- Анализ поведения

Архитектура решения

┌─────────────────┐     ┌──────────────┐     ┌─────────────┐
│ Ваш сервер      │────▶│ Пул прокси   │────▶│ Сайты       │
│ (скрипт/crawler)│     │ (Residential)│     │ конкурентов │
└─────────────────┘     └──────────────┘     └─────────────┘
         │                                          │
         └──────────── Данные о ценах ◀─────────────┘

Стратегия сбора данных

1. Выбор прокси

• Residential прокси для защищённых сайтов (Amazon, eBay)
• Datacenter прокси для простых сайтов
• Geo-targeting для региональных цен

2. Ротация IP

# Новый IP для каждого товара
for product_url in products:
    proxy = get_rotating_proxy()
    price = scrape_price(product_url, proxy)
    save_price(product_url, price)

3. Имитация поведения

import random
import time

# Случайные задержки
time.sleep(random.uniform(2, 5))

# Разные User-Agent
headers = {'User-Agent': random.choice(user_agents)}

Пример кода

import requests
from bs4 import BeautifulSoup

def get_price(url, proxy):
    proxies = {
        'http': f'http://user:pass@{proxy}',
        'https': f'http://user:pass@{proxy}'
    }

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ...'
    }

    response = requests.get(url, proxies=proxies, headers=headers)
    soup = BeautifulSoup(response.text, 'html.parser')

    # Пример для Amazon
    price = soup.select_one('.a-price-whole')
    return price.text if price else None

# Использование с ротацией
from gproxy import ProxyPool

pool = ProxyPool(api_key='your_key')

for product in products:
    proxy = pool.get_proxy(country='US')
    price = get_price(product['url'], proxy)
    print(f"{product['name']}: ${price}")

Рекомендации

1. Распределяйте нагрузку — не более 1 запроса в секунду на домен
2. Используйте кеширование — не парсите один URL часто
3. Мониторьте качество — проверяйте актуальность данных
4. Соблюдайте robots.txt — или будьте готовы к последствиям
5. Храните историю — для анализа трендов

Инструменты

• Scrapy + прокси middleware
• Selenium для JS-рендеринга
• Playwright как альтернатива
• Готовые решения: Price2Spy, Prisync