Списки проксі

Списки проксі – це добірки загальнодоступних IP-адрес проксі-серверів та номерів портів, які переважно знаходяться на спеціалізованих веб-сайтах або форумах, і хоча їх можна перевірити на базове підключення, їх використання, як правило, не рекомендується для будь-яких серйозних застосувань через значні ризики безпеки, надійності та продуктивності.

Списки проксі агрегують інформацію про відкриті проксі-сервери, які є мережевими службами, що дозволяють користувачам здійснювати непрямі мережеві підключення до інших мережевих служб. Ці списки зазвичай включають IP-адресу проксі, номер порту, протокол (HTTP, HTTPS, SOCKS4, SOCKS5), а іноді місцезнаходження або рівень анонімності.

Де знайти списки проксі

Списки проксі переважно знаходяться в кількох місцях, часто з різним ступенем точності та актуальності.

Спеціалізовані веб-сайти зі списками проксі

Численні веб-сайти спеціалізуються на складанні та публікації безкоштовних списків проксі. Ці сайти часто сканують інтернет на наявність відкритих проксі та регулярно оновлюють свої списки. Приклади включають:
* FreeProxyLists.net
* SPYS.one
* Proxy-List.org
* HideMy.name (пропонує безкоштовний список поряд з платними послугами)

Ці сайти зазвичай категоризують проксі за країною, протоколом, швидкістю та рівнем анонімності. Однак представлені дані, особливо щодо швидкості та анонімності, слід перевіряти незалежно.

Репозиторії GitHub

Розробники та дослідники безпеки часто підтримують репозиторії GitHub, які курують списки проксі. Ці списки можуть оновлюватися за допомогою автоматизованих скриптів або внесків спільноти. Пошук на GitHub за такими термінами, як "free proxy list", "public proxies" або "SOCKS5 list", може дати результати. Ці репозиторії іноді включають скрипти для перевірки проксі зі списку.

Онлайн-форуми та спільноти

Деякі онлайн-форуми, особливо ті, що зосереджені на веб-скрейпінгу, кібербезпеці або анонімності, іноді діляться списками проксі. Ці списки можуть бути більш нішевими або спеціалізованими, але також несуть ті ж проблеми з перевіркою, що й інші джерела.

Як складаються списки проксі

Складання списків проксі зазвичай включає автоматизовані методи сканування та виявлення, а не ручне курування.

Автоматичне сканування

Найпоширеніший метод включає сканування великих діапазонів IP-адрес на наявність відкритих портів, які зазвичай використовуються проксі-серверами (наприклад, 80, 8080, 3128, 1080). Після виявлення відкритого порту здійснюється спроба захоплення банера або підключення, щоб визначити, чи функціонує служба на цьому порту як проксі та який протокол вона підтримує.

Веб-скрейпінг

Деякі служби скрейпують інші веб-сайти зі списками проксі або загальнодоступні каталоги для агрегації списків.

Користувацькі подання

Рідше користувачі можуть надсилати відомі відкриті проксі. Цей метод менш масштабований і більш схильний до застарілих або шкідливих записів.

Як перевірити проксі зі списку

Перевірка проксі зі списку є критично важливою через їхню вроджену ненадійність. Перевірка включає перевірку підключення, продуктивності, анонімності та підтримки протоколів.

Тест підключення

Основна перевірка полягає в підтвердженні того, що проксі онлайн і доступний.

# Test HTTP proxy connectivity to a known service
curl -x http://PROXY_IP:PROXY_PORT http://www.google.com --max-time 5

Успішна відповідь (наприклад, HTML-вміст від Google) вказує на базове підключення. Тайм-аут або помилка "connection refused" означає, що проксі, ймовірно, офлайн або блокує підключення.

Тест на анонімність

Визначте, чи розкриває проксі вашу реальну IP-адресу або додає ідентифікуючі заголовки.

# Test anonymity for an HTTP proxy
curl -x http://PROXY_IP:PROXY_PORT http://ipinfo.io/ip --max-time 5

Якщо вивід є PROXY_IP, проксі, ймовірно, анонімний на рівні IP. Якщо це ваша реальна IP-адреса, проксі прозорий або не спрацював. Якщо це інша IP-адреса, це інший тип проксі. Більш розширені перевірки включають пошук заголовків X-Forwarded-For або Via.

# Check for identifying headers
curl -x http://PROXY_IP:PROXY_PORT http://headers.cloxy.net --max-time 5

Проаналізуйте вивід на наявність заголовків, які можуть розкрити вашу особу.

Тест швидкості та затримки

Виміряйте час, необхідний для підключення та отримання даних через проксі.

# Measure transfer time through an HTTP proxy
curl -x http://PROXY_IP:PROXY_PORT http://example.com -w "Total time: %{time_total}s\n" -o /dev/null --max-time 10

Менші значення time_total вказують на кращу продуктивність. Рекомендується повторювати тести, оскільки продуктивність може коливатися.

Підтримка протоколів

Підтвердьте, що проксі підтримує бажаний протокол (HTTP, HTTPS, SOCKS4, SOCKS5).

# Test SOCKS5 proxy connectivity
# Note: curl requires socks5h for hostname resolution through proxy
curl -x socks5h://PROXY_IP:PROXY_PORT http://ipinfo.io/ip --max-time 5

Якщо проксі, заявлений як SOCKS5, не працює з socks5h, він може підтримувати лише SOCKS4 або бути неправильно налаштованим.

Перевірка місцезнаходження

Перевірте географічне місцезнаходження проксі-сервера. Такі служби, як ipinfo.io, надають дані геолокації.

# Get proxy IP details
curl http://PROXY_IP/json

Порівняйте вказану країну/місто з заявленим місцезнаходженням у списку проксі. Розбіжності є поширеними.

Автоматична перевірка за допомогою Python

Для великих списків необхідні автоматизовані скрипти.

import requests
import time

def verify_proxy(proxy_address, protocol='http'):
    proxies = {
        'http': f'{protocol}://{proxy_address}',
        'https': f'{protocol}://{proxy_address}'
    }
    try:
        start_time = time.time()
        response = requests.get('http://ipinfo.io/json', proxies=proxies, timeout=5)
        response.raise_for_status() # Raise an exception for HTTP errors
        end_time = time.time()
        data = response.json()
        print(f"Proxy {proxy_address} is operational.")
        print(f"  Speed: {end_time - start_time:.2f} seconds")
        print(f"  Reported IP: {data.get('ip')}")
        print(f"  Location: {data.get('city')}, {data.get('country')}")
        return True
    except requests.exceptions.RequestException as e:
        print(f"Proxy {proxy_address} failed: {e}")
        return False

# Example usage
# verify_proxy("1.2.3.4:8080", "http")
# verify_proxy("5.6.7.8:1080", "socks5")

Чи варто використовувати проксі-списки?

Рішення про використання проксі з публічних списків значною мірою залежить від передбачуваного застосування, з сильним акцентом на пов'язані ризики.

Обмежені випадки використання

• Ефемерні, некритичні завдання: Для простих, одноразових запитів, де безпека даних та надійність не є проблемою, а негайне видалення проксі є прийнятним.
• Навчання та тестування: Щоб зрозуміти, як функціонують проксі, або протестувати базові мережеві конфігурації в непродуктивному середовищі.
• Обхід базових геообмежень: Для доступу до контенту з тривіальним гео-блокуванням, припускаючи, що проксі знаходиться в правильному регіоні та працює.

Значні ризики та недоліки

• Вразливості безпеки:
  • Перехоплення даних (MITM): Багато безкоштовних проксі керуються зловмисниками, які можуть перехоплювати, реєструвати або змінювати трафік, особливо незашифровані HTTP-з'єднання. Облікові дані, файли cookie та інші конфіденційні дані знаходяться під загрозою.
  • Впровадження шкідливого програмного забезпечення: Проксі можуть впроваджувати шкідливий код (наприклад, JavaScript) у веб-сторінки, компрометуючи клієнтські системи.
  • Витоки IP: Неправильно налаштовані або низькоякісні проксі можуть ненавмисно розкрити вашу реальну IP-адресу, компрометуючи анонімність.
• Ненадійність та нестабільність:
  • Часті простої: Публічні проксі часто офлайн, перевантажені або швидко заносяться в чорний список, що призводить до високого рівня відмов.
  • Непостійна продуктивність: Швидкість сильно коливається, часто буває дуже низькою через перевантаження або обмежену пропускну здатність.
  • Короткий термін служби: Проксі в списках мають дуже короткий термін експлуатації, що вимагає постійної повторної перевірки та заміни.
• Проблеми з анонімністю:
  • Ведення журналів: Багато безкоштовних проксі реєструють активність користувачів, нівелюючи будь-які переваги конфіденційності.
  • Прозорість: Значна частина безкоштовних проксі є прозорими або спотворюючими, тобто вони розкривають або частково розкривають вашу справжню IP-адресу.
• Чорний список:
  • Попередньо занесені в чорний список IP-адреси: IP-адреси в публічних списках часто вже занесені в чорний список популярними веб-сайтами та службами (наприклад, Google, платформи соціальних мереж) через попереднє зловживання.
  • Спільні пули IP-адрес: Спільний характер цих IP-адрес означає, що ваші дії можуть бути пов'язані з попередньою шкідливою діяльністю інших користувачів того ж проксі.

Порівняння: Безкоштовні проксі-списки проти платних проксі-сервісів

Альтернативи безкоштовним проксі-спискам

Для будь-якого застосування, що вимагає надійності, безпеки або стабільної продуктивності, необхідні альтернативи безкоштовним проксі-спискам.

• Платні приватні проксі: Виділені IP-адреси, призначені виключно одному користувачеві. Вони пропонують кращу швидкість, надійність та безпеку, ніж публічні списки.
• Платні Резидентні проксі: IP-адреси, призначені інтернет-провайдерами (ISP) власникам будинків, завдяки чому трафік виглядає як легітимний користувацький трафік. Дуже ефективні для обходу складних систем виявлення, але дорожчі.
• Платні датацентрові проксі: IP-адреси, що походять з центрів обробки даних. Швидші та дешевші, ніж резидентні проксі, але легше виявляються передовими антибот-системами.
• VPN-сервіси: Хоча це не проксі в традиційному розумінні, VPN шифрують весь трафік і направляють його через безпечний сервер, забезпечуючи сильну анонімність та безпеку для загального використання інтернету.
• Створення власного проксі: Розгортання проксі-сервера на віртуальному приватному сервері (VPS) за допомогою програмного забезпечення, такого як Squid, Nginx або TinyProxy, забезпечує повний контроль над безпекою, веденням журналів та продуктивністю. Це вимагає технічної експертизи.
• Проксі-мережі/API: Сервіси, розроблені для конкретних завдань, таких як веб-скрейпінг, які автоматично керують ротацією проксі, вирішенням CAPTCHA та відбитками браузера.