Как использовать GProxy proxy с Octoparse

TL;DR

Настройте GProxy proxy в Octoparse для визуального веб-скрейпинга. Пошаговая настройка proxy в GUI Octoparse, параметры ротации и лучшие практики.

Получить прокси → Octoparse сайт →

Язык: No-Code

Что вам понадобится

✓Десктопное приложение или облачный аккаунт Octoparse
✓Аккаунт GProxy с активным тарифным планом proxy
✓URL целевого сайта для парсинга

Пошаговая настройка

Открыть настройки Octoparse

Перейдите в настройки proxy

Octoparse → Settings → Proxy Settings

Добавить GProxy как кастомный proxy

Введите данные proxy GProxy

Proxy Type: HTTP
Address: proxy.gproxy.net
Port: 1000
Username: YOUR_USER
Password: YOUR_PASS

Настроить ротацию

Установите частоту ротации proxy

Rotation Mode: Per Request (or every N requests)
Timeout: 30 seconds
Retry on failure: Enabled

Добавить гео-таргетированные proxy

Добавьте записи для конкретных стран для локализованного скрапинга

Proxy 1: USER-country-us:PASS@proxy.gproxy.net:1000
Proxy 2: USER-country-de:PASS@proxy.gproxy.net:1000
Proxy 3: USER-country-gb:PASS@proxy.gproxy.net:1000

Создать задачу скрапинга

Создайте рабочий процесс скрапинга с включенным proxy

New Task → Enter URL → Select data fields → Enable proxy → Run

Протестировать и проверить

Запустите тестовое извлечение, чтобы убедиться, что proxy работает

Run task in local mode → Check extraction results → Verify no blocks

Примеры кода

Конфигурация Octoparse Proxy · text

Proxy Settings:
  Type: HTTP
  Server: proxy.gproxy.net
  Port: 1000
  Authentication: Enabled
  Username: YOUR_GPROXY_USER
  Password: YOUR_GPROXY_PASS
  
Rotation:
  Mode: Rotate per request
  Timeout: 30s
  Max retries: 3

Список Bulk Proxy для Geo-Targeting · text

# Add these as separate proxy entries in Octoparse
# Each targets a different country
http://USER-country-us:PASS@proxy.gproxy.net:1000
http://USER-country-gb:PASS@proxy.gproxy.net:1000
http://USER-country-de:PASS@proxy.gproxy.net:1000
http://USER-country-fr:PASS@proxy.gproxy.net:1000
http://USER-country-jp:PASS@proxy.gproxy.net:1000
http://USER-country-br:PASS@proxy.gproxy.net:1000
http://USER-country-au:PASS@proxy.gproxy.net:1000
http://USER-country-ca:PASS@proxy.gproxy.net:1000

Почему стоит использовать GProxy с Octoparse?

Octoparse — это популярный инструмент для веб-скрейпинга без кода с визуальным интерфейсом point-and-click. Хотя Octoparse предлагает встроенную ротацию IP, использование GProxy в качестве внешнего proxy дает вам доступ к 10M+ резидентным IP в 150+ странах — это гораздо большее разнообразие IP, чем в стандартном пуле Octoparse. Это значительно снижает количество блокировок и CAPTCHAs при работе со сложными целями.

Добавление GProxy proxy в Octoparse

Octoparse поддерживает настройку кастомных proxy через панель Settings. Вы можете добавить endpoint от GProxy как кастомный proxy, указав учетные данные для аутентификации. После настройки Octoparse будет направлять все запросы на скрейпинг через сеть GProxy.

Настройки ротации proxy

Настройте частоту, с которой Octoparse переключается между IP от GProxy. С backconnect proxy от GProxy каждое новое соединение автоматически получает свежий IP. Установите интервал ротации в Octoparse в соответствии с вашим темпом скрейпинга — обычно каждые 1-5 запросов для чувствительных сайтов.

Скрейпинг с гео-таргетингом

Для сбора данных с привязкой к местоположению используйте функцию гео-таргетинга GProxy. Добавьте в Octoparse записи proxy для конкретных стран, чтобы направлять запросы через IP в определенных регионах. Это необходимо для сбора локализованных цен в e-commerce, результатов поиска или контента с региональными ограничениями.

Облачное и локальное выполнение

Octoparse запускает задачи локально или в облаке. Для локального выполнения настройте proxy в десктопном приложении. Для облачного выполнения добавьте настройки proxy в конфигурацию задачи перед загрузкой. GProxy работает в обоих режимах.

Обход анти-бот защиты

Сочетайте резидентные proxy от GProxy со встроенной эмуляцией браузера Octoparse для достижения максимального успеха. Резидентные IP значительно сложнее обнаружить, чем серверные IP, а визуальный рендеринг браузера в Octoparse справляется с сайтами с большим количеством JavaScript, которые не под силу обычному HTTP скрейпингу.

Сценарии применения

E-commerce Data Extraction

Парсинг списков товаров, цен и отзывов с крупнейших e-commerce платформ с использованием residential proxies.

Real Estate Listings

Сбор объявлений о недвижимости с порталов с использованием geo-targeted proxies для получения локализованных результатов.

Job Board Scraping

Агрегация вакансий с нескольких платформ с использованием rotating IPs для обхода блокировок.

Review Monitoring

Отслеживание отзывов клиентов на различных платформах для анализа тональности и мониторинга бренда.

Pro советы

Используйте единый backconnect endpoint от GProxy вместо ввода нескольких proxy — он ротируется автоматически. Установите в Octoparse таймаут загрузки страницы на 30s для proxy соединений. Начните с residential proxies для новых целей, переключитесь на datacenter, если блокировки не являются проблемой. Экспортируйте и сохраните вашу конфигурацию proxy для повторного использования в других задачах.