Налаштування проксі Selenium

Налаштування проксі в Selenium передбачає конфігурацію параметрів або можливостей браузера для маршрутизації веб-трафіку через вказаний проксі-сервер, що дозволяє виконувати такі завдання, як гео-розблокування, анонімність та інспекція мережевого трафіку. Ця конфігурація є важливою для автоматизації завдань, що вимагають обходу географічних обмежень, тестування поведінки веб-сайтів з різних мережевих локацій або управління мережевим трафіком під час тестування чи вилучення даних.

Використання проксі з Selenium дозволяє перенаправляти весь трафік браузера через проміжний сервер. Ця можливість є критично важливою для:
* Обходу географічних обмежень доступу до контенту.
* Збереження анонімності під час автоматизованих веб-взаємодій.
* Тестування продуктивності або поведінки веб-сайту при доступі з різних мережевих точок.
* Моніторингу або налагодження мережевих запитів і відповідей.
* Доступу до внутрішніх або обмежених мереж.

Загальні концепції проксі

Перед налаштуванням Selenium, розуміння фундаментальних концепцій проксі є вирішальним.

Типи проксі

• HTTP/HTTPS Проксі: Ці проксі працюють на прикладному рівні (Рівень 7). HTTP проксі обробляють незашифрований HTTP трафік, тоді як HTTPS проксі обробляють зашифрований HTTPS трафік. Багато HTTPS проксі виконують SSL-перехоплення (Man-in-the-Middle), розшифровуючи трафік, інспектуючи його, а потім повторно шифруючи перед пересиланням. Це іноді може призвести до помилок SSL-сертифіката, якщо сертифікат проксі не довірений браузером.
• SOCKS Проксі (SOCKS4, SOCKS5): SOCKS (Socket Secure) проксі працюють на нижчому рівні (Рівень 5). Вони є протокольно-агностичними, тобто можуть обробляти будь-який тип TCP/UDP трафіку, а не лише HTTP/HTTPS. SOCKS5 є більш поширеною версією, що підтримує автентифікацію та UDP трафік, що робить його універсальним для різних застосувань, крім веб-перегляду.

Автентифікація проксі

Багато проксі-серверів вимагають автентифікації (ім'я користувача та пароль) для надання доступу. Selenium обробляє базову автентифікацію, вбудовуючи облікові дані безпосередньо в рядок проксі, зазвичай у форматі username:password@host:port.

Параметри/Можливості браузера

Selenium взаємодіє з веб-браузерами через спеціальні виконувані файли драйверів (наприклад, ChromeDriver для Chrome, GeckoDriver для Firefox). Ці драйвери приймають об'єкт Options (наприклад, ChromeOptions, FirefoxOptions), де визначаються налаштування проксі. Ці налаштування передаються браузеру при запуску, забезпечуючи, що весь подальший трафік з цього екземпляра браузера маршрутизується через вказаний проксі.

Налаштування проксі в Selenium: Приклади для конкретних мов

Наступні розділи детально описують, як налаштувати проксі для Chrome та Firefox за допомогою Python, Java та C#. Принципи можна перенести на інші браузери, підтримувані Selenium, такі як Edge або Safari, використовуючи їхні відповідні об'єкти Options.

Python

Python використовує selenium.webdriver.Proxy та ProxyType для визначення конфігурацій проксі в параметрах браузера.

Базовий HTTP/HTTPS Проксі

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.options import Options as ChromeOptions
from selenium.webdriver.firefox.options import Options as FirefoxOptions

# Proxy settings
PROXY_HOST = "your_proxy_host"
PROXY_PORT = 8080 # Or 443 for HTTPS

# --- Chrome Example ---
chrome_options = ChromeOptions()
chrome_options.add_argument(f'--proxy-server={PROXY_HOST}:{PROXY_PORT}')

# Optional: Disable SSL certificate checks if proxy causes issues (use with caution)
# chrome_options.add_argument('--ignore-certificate-errors')

driver_chrome = webdriver.Chrome(options=chrome_options)
driver_chrome.get("http://www.example.com")
# ... perform actions ...
driver_chrome.quit()

# --- Firefox Example ---
firefox_options = FirefoxOptions()
firefox_options.set_preference("network.proxy.type", 1) # Manual proxy configuration
firefox_options.set_preference("network.proxy.http", PROXY_HOST)
firefox_options.set_preference("network.proxy.http_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.ssl", PROXY_HOST)
firefox_options.set_preference("network.proxy.ssl_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.no_proxies_on", "") # Ensure proxy is used for all hosts

driver_firefox = webdriver.Firefox(options=firefox_options)
driver_firefox.get("http://www.example.com")
# ... perform actions ...
driver_firefox.quit()

Автентифікований HTTP/HTTPS Проксі

Для автентифікованих HTTP/HTTPS проксі, вбудуйте облікові дані безпосередньо в рядок проксі.

from selenium import webdriver
from selenium.webdriver.chrome.options import Options as ChromeOptions
from selenium.webdriver.firefox.options import Options as FirefoxOptions

PROXY_HOST = "your_proxy_host"
PROXY_PORT = 8080
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

# --- Chrome Example ---
# Format: user:pass@host:port
authenticated_proxy = f"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}"
chrome_options = ChromeOptions()
chrome_options.add_argument(f'--proxy-server={authenticated_proxy}')

driver_chrome = webdriver.Chrome(options=chrome_options)
driver_chrome.get("http://www.example.com")
driver_chrome.quit()

# --- Firefox Example ---
# Власні налаштування Firefox безпосередньо не підтримують ім'я користувача/пароль у рядку проксі
# для HTTP/HTTPS. Поширеним обхідним шляхом є використання розширення браузера або менеджера проксі.
# Однак, якщо використовувати опцію "прямого" проксі через можливості (що менш поширено для Firefox
# порівняно з аргументом --proxy-server у Chrome), це може спрацювати.
# Для надійного автентифікованого проксі Firefox, розгляньте використання розширення проксі або SOCKS5 проксі.
# Наступний підхід є загальним і може не працювати для всіх автентифікованих HTTP/HTTPS проксі у Firefox безпосередньо.
# Для простоти та крос-браузерної узгодженості, розгляньте використання SOCKS5, якщо автентифікація є обов'язковою.

# Стандартні налаштування Firefox безпосередньо не підтримують вбудовування user:pass для HTTP/HTTPS.
# Для автентифікованих HTTP/HTTPS проксі у Firefox, браузер зазвичай запитує облікові дані.
# WebDriver не може безпосередньо взаємодіяти з цими рідними запитами автентифікації браузера.
# Поширеним рішенням є використання проксі, який підтримує автентифікацію через URL (як деякі SOCKS5 проксі)
# або використання розширення браузера, яке обробляє автентифікацію проксі.
# Для цього прикладу ми опустимо пряме налаштування автентифікованого HTTP/HTTPS проксі Firefox через складність
# та відсутність прямої підтримки WebDriver для рідних запитів автентифікації браузера.

SOCKS Проксі

SOCKS проксі вимагають вказівки версії SOCKS. SOCKS5 зазвичай є кращим через його функції.

from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
from selenium.webdriver.chrome.options import Options as ChromeOptions
from selenium.webdriver.firefox.options import Options as FirefoxOptions

PROXY_HOST = "your_socks_proxy_host"
PROXY_PORT = 1080 # Common SOCKS port
PROXY_USER = "your_username" # Optional for SOCKS5
PROXY_PASS = "your_password" # Optional for SOCKS5

# --- Chrome Example ---
chrome_options = ChromeOptions()
# For SOCKS5 with authentication, format is socks5://user:pass@host:port
# For SOCKS5 without authentication, format is socks5://host:port
# For SOCKS4, use socks4://host:port
socks_proxy_string = f"socks5://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}" if PROXY_USER else f"socks5://{PROXY_HOST}:{PROXY_PORT}"
chrome_options.add_argument(f'--proxy-server={socks_proxy_string}')

driver_chrome = webdriver.Chrome(options=chrome_options)
driver_chrome.get("http://www.example.com")
driver_chrome.quit()

# --- Firefox Example ---
firefox_options = FirefoxOptions()
firefox_options.set_preference("network.proxy.type", 1) # Manual proxy configuration
firefox_options.set_preference("network.proxy.socks", PROXY_HOST)
firefox_options.set_preference("network.proxy.socks_port", PROXY_PORT)
firefox_options.set_preference("network.proxy.socks_version", 5) # For SOCKS5
firefox_options.set_preference("network.proxy.socks_username", PROXY_USER) # For authenticated SOCKS5
firefox_options.set_preference("network.proxy.socks_password", PROXY_PASS) # For authenticated SOCKS5
firefox_options.set_preference("network.proxy.no_proxies_on", "")

driver_firefox = webdriver.Firefox(options=firefox_options)
driver_firefox.get("http://www.example.com")
driver_firefox.quit()

Java

Java використовує клас org.openqa.selenium.Proxy і встановлює його в можливостях драйвера браузера.

Базовий HTTP/HTTPS Проксі

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.firefox.FirefoxOptions;

public class SeleniumProxySetup {

    public static void main(String[] args) {
        String PROXY_HOST = "your_proxy_host";
        int PROXY_PORT = 8080;

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        Proxy proxyChrome = new Proxy();
        proxyChrome.setHttpProxy(PROXY_HOST + ":" + PROXY_PORT);
        proxyChrome.setSslProxy(PROXY_HOST + ":" + PROXY_PORT); // Also set for HTTPS
        chromeOptions.setCapability("proxy", proxyChrome);

        WebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.get("http://www.example.com");
        // ... perform actions ...
        driverChrome.quit();

        // --- Firefox Example ---
        FirefoxOptions firefoxOptions = new FirefoxOptions();
        Proxy proxyFirefox = new Proxy();
        proxyFirefox.setHttpProxy(PROXY_HOST + ":" + PROXY_PORT);
        proxyFirefox.setSslProxy(PROXY_HOST + ":" + PROXY_PORT); // Also set for HTTPS
        firefoxOptions.setCapability("proxy", proxyFirefox);

        WebDriver driverFirefox = new FirefoxDriver(firefoxOptions);
        driverFirefox.get("http://www.example.com");
        // ... perform actions ...
        driverFirefox.quit();
    }
}

Автентифікований HTTP/HTTPS Проксі

Подібно до Python, для базової HTTP/HTTPS автентифікації облікові дані вбудовуються в рядок проксі.

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
// Firefox example for authenticated HTTP/HTTPS is complex due to native prompts.
// Consider SOCKS5 or a browser extension for Firefox authentication.

public class SeleniumAuthenticatedProxySetup {

    public static void main(String[] args) {
        String PROXY_HOST = "your_proxy_host";
        int PROXY_PORT = 8080;
        String PROXY_USER = "your_username";
        String PROXY_PASS = "your_password";

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        Proxy proxyChrome = new Proxy();
        // Format: user:pass@host:port
        String authenticatedProxyString = PROXY_USER + ":" + PROXY_PASS + "@" + PROXY_HOST + ":" + PROXY_PORT;
        proxyChrome.setHttpProxy(authenticatedProxyString);
        proxyChrome.setSslProxy(authenticatedProxyString); // Also set for HTTPS
        chromeOptions.setCapability("proxy", proxyChrome);

        WebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.get("http://www.example.com");
        driverChrome.quit();

        // --- Firefox Example ---
        // Як зазначено в Python, власні налаштування Firefox безпосередньо не підтримують
        // вбудовування імені користувача/пароля для HTTP/HTTPS проксі через можливості WebDriver
        // без розширення браузера. Браузер зазвичай запитує облікові дані.
        // Для надійного автентифікованого проксі Firefox, розгляньте використання SOCKS5 проксі або розширення проксі.
    }
}

SOCKS Проксі

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.Proxy;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;
import org.openqa.selenium.firefox.FirefoxDriver;
import org.openqa.selenium.firefox.FirefoxOptions;

public class SeleniumSocksProxySetup {

    public static void main(String[] args) {
        String PROXY_HOST = "your_socks_proxy_host";
        int PROXY_PORT = 1080; // Common SOCKS port
        String PROXY_USER = "your_username"; // Optional for SOCKS5
        String PROXY_PASS = "your_password"; // Optional for SOCKS5

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        Proxy proxyChrome = new Proxy();
        // For SOCKS5 with authentication, format is socks5://user:pass@host:port
        // For SOCKS5 without authentication, format is socks5://host:port
        String socksProxyString = PROXY_USER != null && !PROXY_USER.isEmpty()
                                ? "socks5://" + PROXY_USER + ":" + PROXY_PASS + "@" + PROXY_HOST + ":" + PROXY_PORT
                                : "socks5://" + PROXY_HOST + ":" + PROXY_PORT;
        chromeOptions.addArguments("--proxy-server=" + socksProxyString); // Chrome uses --proxy-server argument for SOCKS

        WebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.get("http://www.example.com");
        driverChrome.quit();

        // --- Firefox Example ---
        FirefoxOptions firefoxOptions = new FirefoxOptions();
        Proxy proxyFirefox = new Proxy();
        proxyFirefox.setSocksProxy(PROXY_HOST + ":" + PROXY_PORT);
        proxyFirefox.setSocksVersion(5); // For SOCKS5
        // Firefox preferences for SOCKS authentication
        firefoxOptions.setPreference("network.proxy.socks_username", PROXY_USER);
        firefoxOptions.setPreference("network.proxy.socks_password", PROXY_PASS);
        firefoxOptions.setCapability("proxy", proxyFirefox);

        WebDriver driverFirefox = new FirefoxDriver(firefoxOptions);
        driverFirefox.get("http://www.example.com");
        driverFirefox.quit();
    }
}

C

C# використовує клас OpenQA.Selenium.Proxy і встановлює його в параметрах браузера.

Базовий HTTP/HTTPS Проксі

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Firefox;

public class SeleniumProxySetup
{
    public static void Main(string[] args)
    {
        string PROXY_HOST = "your_proxy_host";
        int PROXY_PORT = 8080;

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        Proxy proxyChrome = new Proxy();
        proxyChrome.HttpProxy = $"{PROXY_HOST}:{PROXY_PORT}";
        proxyChrome.SslProxy = $"{PROXY_HOST}:{PROXY_PORT}"; // Also set for HTTPS
        chromeOptions.Proxy = proxyChrome;

        IWebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.Navigate().GoToUrl("http://www.example.com");
        // ... perform actions ...
        driverChrome.Quit();

        // --- Firefox Example ---
        FirefoxOptions firefoxOptions = new FirefoxOptions();
        Proxy proxyFirefox = new Proxy();
        proxyFirefox.HttpProxy = $"{PROXY_HOST}:{PROXY_PORT}";
        proxyFirefox.SslProxy = $"{PROXY_HOST}:{PROXY_PORT}"; // Also set for HTTPS
        firefoxOptions.Proxy = proxyFirefox;

        IWebDriver driverFirefox = new FirefoxDriver(firefoxOptions);
        driverFirefox.Navigate().GoToUrl("http://www.example.com");
        // ... perform actions ...
        driverFirefox.Quit();
    }
}

Автентифікований HTTP/HTTPS Проксі

Для базової автентифікації вбудуйте облікові дані в рядок проксі.

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
// Firefox example for authenticated HTTP/HTTPS is complex due to native prompts.
// Consider SOCKS5 or a browser extension for Firefox authentication.

public class SeleniumAuthenticatedProxySetup
{
    public static void Main(string[] args)
    {
        string PROXY_HOST = "your_proxy_host";
        int PROXY_PORT = 8080;
        string PROXY_USER = "your_username";
        string PROXY_PASS = "your_password";

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        Proxy proxyChrome = new Proxy();
        // Format: user:pass@host:port
        string authenticatedProxyString = $"{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}";
        proxyChrome.HttpProxy = authenticatedProxyString;
        proxyChrome.SslProxy = authenticatedProxyString; // Also set for HTTPS
        chromeOptions.Proxy = proxyChrome;

        IWebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.Navigate().GoToUrl("http://www.example.com");
        driverChrome.Quit();

        // --- Firefox Example ---
        // Як зазначено в Python та Java, власні налаштування Firefox безпосередньо не підтримують
        // вбудовування імені користувача/пароля для HTTP/HTTPS проксі через можливості WebDriver
        // без розширення браузера. Браузер зазвичай запитує облікові дані.
        // Для надійного автентифікованого проксі Firefox, розгляньте використання SOCKS5 проксі або розширення проксі.
    }
}

SOCKS Проксі

using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using OpenQA.Selenium.Firefox;

public class SeleniumSocksProxySetup
{
    public static void Main(string[] args)
    {
        string PROXY_HOST = "your_socks_proxy_host";
        int PROXY_PORT = 1080; // Common SOCKS port
        string PROXY_USER = "your_username"; // Optional for SOCKS5
        string PROXY_PASS = "your_password"; // Optional for SOCKS5

        // --- Chrome Example ---
        ChromeOptions chromeOptions = new ChromeOptions();
        // Chrome uses --proxy-server argument for SOCKS.
        // For SOCKS5 with authentication, format is socks5://user:pass@host:port
        // For SOCKS5 without authentication, format is socks5://host:port
        string socksProxyString = string.IsNullOrEmpty(PROXY_USER)
                                ? $"socks5://{PROXY_HOST}:{PROXY_PORT}"
                                : $"socks5://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}";
        chromeOptions.AddArgument($"--proxy-server={socksProxyString}");

        IWebDriver driverChrome = new ChromeDriver(chromeOptions);
        driverChrome.Navigate().GoToUrl("http://www.example.com");
        driverChrome.Quit();

        // --- Firefox Example ---
        FirefoxOptions firefoxOptions = new FirefoxOptions();
        Proxy proxyFirefox = new Proxy();
        proxyFirefox.SocksProxy = $"{PROXY_HOST}:{PROXY_PORT}";
        proxyFirefox.SocksVersion = 5; // For SOCKS5
        // Firefox preferences for SOCKS authentication
        firefoxOptions.SetPreference("network.proxy.socks_username", PROXY_USER);
        firefoxOptions.SetPreference("network.proxy.socks_password", PROXY_PASS);
        firefoxOptions.Proxy = proxyFirefox;

        IWebDriver driverFirefox = new FirefoxDriver(firefoxOptions);
        driverFirefox.Navigate().GoToUrl("http://www.example.com");
        driverFirefox.Quit();
    }
}

Порівняння типів проксі

Поширені проблеми та їх усунення

• Проксі не працює: Перевірте хост і порт проксі. Переконайтеся, що проксі-сервер онлайн і доступний з машини, на якій запущено Selenium. Правила брандмауера можуть блокувати з'єднання з проксі.
• Помилка автентифікації: Двічі перевірте ім'я користувача та пароль. Переконайтеся, що проксі підтримує метод автентифікації, який використовує Selenium (зазвичай базова автентифікація через вбудовування в URL).
• Помилки SSL-сертифіката: Якщо HTTPS проксі виконує SSL-перехоплення, браузер може повідомляти про попередження щодо сертифіката, оскільки він не довіряє динамічно згенерованому сертифікату проксі. Варіанти включають:
  • Відключення перевірки сертифікатів (наприклад, --ignore-certificate-errors для Chrome), але це є ризиком безпеки і не рекомендується для виробництва.
  • Встановлення кореневого сертифіката проксі в сховище довірених сертифікатів браузера.
• Помилки тайм-ауту: Проксі-сервер може бути повільним, перевантаженим або мати проблеми з мережею. Збільшіть неявні або явні часи очікування Selenium або протестуйте з іншим проксі.
• Особливості, специфічні для браузера: Хоча загальний підхід є послідовним, існують незначні відмінності в тому, як кожен драйвер браузера обробляє налаштування проксі. Зверніться до документації, специфічної для браузера, якщо виникає неочікувана поведінка.

Найкращі практики

• Змінні середовища для облікових даних: Уникайте жорсткого кодування конфіденційних імен користувачів та паролів проксі безпосередньо в скрипті. Замість цього отримуйте їх зі змінних середовища або безпечної системи управління конфігурацією.
• Виділений менеджер проксі: Для складних сценаріїв, таких як ротація проксі, управління великими списками проксі або реалізація розширеної логіки проксі, розгляньте використання спеціалізованої бібліотеки менеджера проксі або SDK комерційного проксі-сервісу.
• Обробка помилок: Реалізуйте надійні блоки try-catch для коректної обробки збоїв підключення до проксі, помилок автентифікації або тайм-аутів мережі.
• Сумісність з безголовим режимом: Конфігурації проксі бездоганно працюють з безголовими режимами браузера, що є корисним для автоматизації на стороні сервера.