Як використовувати GProxy proxy з Octoparse

TL;DR

Налаштуйте GProxy proxy в Octoparse для візуального веб-скрапінгу. Покрокове налаштування proxy в GUI Octoparse, параметри ротації та найкращі практики.

Отримати проксі → Octoparse сайт →

Мова: No-Code

Що вам знадобиться

✓Десктопний додаток або хмарний акаунт Octoparse
✓Акаунт GProxy з активним планом proxy
✓URL цільового вебсайту, готовий для скрапінгу

Покрокове налаштування

Відкрийте Octoparse Settings

Перейдіть до налаштувань proxy

Octoparse → Settings → Proxy Settings

Додайте GProxy як кастомний proxy

Введіть дані proxy GProxy

Proxy Type: HTTP
Address: proxy.gproxy.net
Port: 1000
Username: YOUR_USER
Password: YOUR_PASS

Налаштуйте rotation

Встановіть частоту proxy rotation

Rotation Mode: Per Request (or every N requests)
Timeout: 30 seconds
Retry on failure: Enabled

Додайте geo-targeted proxies

Додайте записи для конкретних країн для локалізованого скрапінгу

Proxy 1: USER-country-us:PASS@proxy.gproxy.net:1000
Proxy 2: USER-country-de:PASS@proxy.gproxy.net:1000
Proxy 3: USER-country-gb:PASS@proxy.gproxy.net:1000

Створіть завдання для скрапінгу

Побудуйте свій робочий процес скрапінгу з увімкненим proxy

New Task → Enter URL → Select data fields → Enable proxy → Run

Протестуйте та перевірте

Запустіть тестове витягування даних, щоб переконатися, що proxy працює

Run task in local mode → Check extraction results → Verify no blocks

Приклади коду

Конфігурація Octoparse Proxy · text

Proxy Settings:
  Type: HTTP
  Server: proxy.gproxy.net
  Port: 1000
  Authentication: Enabled
  Username: YOUR_GPROXY_USER
  Password: YOUR_GPROXY_PASS
  
Rotation:
  Mode: Rotate per request
  Timeout: 30s
  Max retries: 3

Список Bulk Proxy для геотаргетингу · text

# Add these as separate proxy entries in Octoparse
# Each targets a different country
http://USER-country-us:PASS@proxy.gproxy.net:1000
http://USER-country-gb:PASS@proxy.gproxy.net:1000
http://USER-country-de:PASS@proxy.gproxy.net:1000
http://USER-country-fr:PASS@proxy.gproxy.net:1000
http://USER-country-jp:PASS@proxy.gproxy.net:1000
http://USER-country-br:PASS@proxy.gproxy.net:1000
http://USER-country-au:PASS@proxy.gproxy.net:1000
http://USER-country-ca:PASS@proxy.gproxy.net:1000

Чому варто використовувати GProxy з Octoparse?

Octoparse — це популярний інструмент для веб-скрапінгу без коду з візуальним інтерфейсом point-and-click. Хоча Octoparse пропонує вбудовану ротацію IP, використання GProxy як зовнішнього proxy надає вам доступ до 10M+ резидентних IP у 150+ країнах — це значно більша різноманітність IP, ніж у стандартному пулі Octoparse. Це суттєво зменшує кількість блокувань та CAPTCHA на складних цілях.

Додавання GProxy Proxy в Octoparse

Octoparse підтримує налаштування кастомних proxy через панель Settings. Ви можете додати proxy endpoint від GProxy як кастомний proxy, разом із обліковими даними для автентифікації. Після налаштування Octoparse спрямовуватиме всі запити на скрапінг через мережу GProxy.

Налаштування ротації Proxy

Налаштуйте, як часто Octoparse повинен змінювати IP від GProxy. З backconnect proxy від GProxy кожне нове з'єднання автоматично отримує свіжий IP. Встановіть інтервал ротації в Octoparse відповідно до вашого темпу скрапінгу — зазвичай кожні 1-5 запитів для чутливих сайтів.

Гео-таргетований скрапінг

Для скрапінгу даних, що залежать від місцезнаходження, використовуйте функцію гео-таргетингу GProxy. Додайте записи proxy для конкретних країн в Octoparse, щоб спрямовувати запити через IP у певних регіонах. Це необхідно для збору локалізованих цін в e-commerce, результатів пошуку або контенту з регіональними обмеженнями.

Хмарне виконання проти локального

Octoparse запускає завдання локально або в хмарі. Для локального виконання налаштуйте proxy у десктопному додатку. Для хмарного виконання додайте налаштування proxy до конфігурації вашого завдання перед завантаженням. GProxy працює в обох режимах.

Обхід Anti-Bot захисту

Поєднуйте резидентні proxy від GProxy з вбудованою емуляцією браузера Octoparse для максимальної ефективності. Резидентні IP значно важче виявити, ніж дата-центр IP, а візуальний рендеринг браузера Octoparse справляється з сайтами з великою кількістю JavaScript, які неможливо обробити через простий HTTP скрапінг.

Сценарії використання

Витяг даних E-commerce

Збирайте списки товарів, ціни та відгуки з основних e-commerce платформ за допомогою residential proxies.

Оголошення про нерухомість

Збирайте оголошення про нерухомість з порталів нерухомості за допомогою geo-targeted proxies для локалізованих результатів.

Скрапінг дощок оголошень про роботу

Агрегуйте списки вакансій з кількох платформ за допомогою rotating IPs, щоб уникнути блокувань.

Моніторинг відгуків

Відстежуйте відгуки клієнтів на різних платформах для аналізу настроїв та моніторингу бренду.

Поради професіоналів

Використовуйте єдиний backconnect endpoint від GProxy замість кількох записів proxy — він ротується автоматично. Встановіть у Octoparse таймаут завантаження сторінки на 30s для proxy з'єднань. Почніть з residential proxies для нових цілей, перейдіть на datacenter, якщо блоки не є проблемою. Експортуйте та збережіть вашу конфігурацію proxy для повторного використання в інших завданнях.