🕸️
Tool Integration
Прокси для Scrapy
Используйте прокси GProxy вместе с популярным Python-фреймворком Scrapy для создания мощных и надёжных парсеров.
Преимущества для Scrapy
Усильте Scrapy надёжными прокси
🔧
Простая интеграция
Готовый middleware для Scrapy.
🔄
Автоматическая ротация
IP меняются автоматически.
⚡
Высокая скорость
Быстрые соединения для парсинга.
🛡️
Обход блокировок
Резидентные IP обходят защиты.
Как это работает
Интеграция за 5 минут
1
Установите пакет
pip install scrapy-gproxy
2
Настройте settings.py
Добавьте middleware и credentials
3
Запустите спайдер
Прокси подключатся автоматически
4
Масштабируйте
Увеличивайте CONCURRENT_REQUESTS
Пример интеграции
Настройка Scrapy settings.py
# settings.py
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}
# GProxy credentials
PROXY_USER = 'your_username'
PROXY_PASS = 'your_password'
PROXY_HOST = 'proxy.gproxy.net'
PROXY_PORT = '8080'
def get_proxy_url():
return f'http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}'
HTTP_PROXY = get_proxy_url()
HTTPS_PROXY = get_proxy_url()Начните использовать прокси для Scrapy
Выберите подходящий тариф и получите доступ к миллионам IP-адресов