IP-подсети

IP-подсети представляют собой логически разделенные блоки IP-адресов внутри более крупной сети, позволяющие прокси-сервисам эффективно управлять, распределять и ротировать IP-адреса для различных клиентских запросов и сценариев использования.

Что такое IP-подсеть?

IP-подсеть (subnet) — это сегмент IP-сети, образованный путем разделения основной сети. Каждая IP-подсеть имеет свой уникальный сетевой адрес, который определяет диапазон IP-адресов, принадлежащих этой подсети. Разделение на подсети осуществляется с помощью маски подсети (subnet mask), которая определяет, какая часть IP-адреса относится к сетевой части, а какая — к хостовой.

IP-адрес состоит из двух частей: сетевой части и хостовой части.
* Сетевая часть (network portion) идентифицирует саму подсеть. Все устройства в одной подсети имеют одинаковую сетевую часть.
* Хостовая часть (host portion) идентифицирует конкретное устройство (хост) внутри этой подсети.

Маска подсети — это 32-битное число, которое, будучи примененным к IP-адресу, позволяет определить его сетевую и хостовую части. В двоичном представлении биты, установленные в '1', соответствуют сетевой части, а биты, установленные в '0', — хостовой части.

CIDR-нотация

Для упрощения записи масок подсети используется бесклассовая междоменная маршрутизация (Classless Inter-Domain Routing, CIDR). В CIDR-нотации IP-адрес записывается с добавлением косой черты и числа, обозначающего количество бит в сетевой части (длину префикса). Например, 192.168.1.0/24 означает, что первые 24 бита IP-адреса относятся к сетевой части.

Примеры CIDR-нотации и соответствующие им маски подсети:

CIDR Prefix	Маска подсети	Количество IP-адресов
/8	255.0.0.0	16 777 216
/16	255.255.0.0	65 536
/24	255.255.255.0	256
/28	255.255.255.240	16
/30	255.255.255.252	4

Первый адрес в подсети (где все биты хостовой части равны '0') является сетевым адресом, а последний (где все биты хостовой части равны '1') — широковещательным (broadcast) адресом. Эти два адреса не могут быть присвоены хостам.

Зачем прокси-сервисам нужны IP-подсети?

Прокси-сервисы оперируют большим количеством IP-адресов. Эффективное управление этими адресами критически важно для обеспечения функциональности, надежности и обхода блокировок. IP-подсети играют ключевую роль в этом процессе.

Управление IP-пулом

Прокси-сервисы используют подсети для организации своих обширных IP-пулов. Вместо того чтобы управлять каждым IP-адресом по отдельности, сервис работает с блоками адресов, что упрощает их распределение, мониторинг и обслуживание. Это позволяет:

• Сегментировать IP-адреса по географическому положению, типу провайдера (резидентные, датацентровые, мобильные), репутации или другим критериям.
• Оптимизировать маршрутизацию трафика, направляя запросы через IP-адреса из подсетей, наиболее подходящих для целевого ресурса.
• Масштабировать инфраструктуру, легко добавляя новые подсети по мере роста потребностей.

Ротация IP-адресов

Ротация IP-адресов — это механизм смены исходящего IP-адреса для каждого или группы запросов. Использование подсетей улучшает эффективность ротации:

• Предотвращение fingerprinting: Многие веб-сервисы отслеживают последовательные запросы с IP-адресов, принадлежащих одной и той же подсети (особенно /24 или меньше), как потенциально автоматизированные. Ротация между IP-адресами из разных подсетей (даже если они принадлежат одному провайдеру) делает такую активность менее заметной, имитируя запросы от разных пользователей в разных сегментах сети.
• Распределение нагрузки: Равномерное использование IP-адресов из разных подсетей помогает избежать перегрузки одного сегмента сети или чрезмерной активности с одного блока адресов, что может привести к временным блокировкам.

Географическая сегментация

Для задач, требующих геотаргетинга, прокси-сервисы предоставляют IP-адреса, привязанные к определенным регионам или странам. Эти IP-адреса часто организованы в подсети, принадлежащие местным интернет-провайдерам.

• Точное позиционирование: Клиент может запросить IP-адрес из конкретной подсети, ассоциированной с желаемым городом или регионом.
• Повышение доверия: Использование IP-адресов из локальных подсетей для доступа к локальным сервисам снижает вероятность обнаружения прокси и блокировки, так как это выглядит как обычный пользовательский трафик из соответствующего региона.

Разделение трафика и изоляция клиентов

Прокси-сервисы могут выделять определенные подсети или их части для конкретных клиентов или типов задач.

• Dedicated IP-адреса: Клиенту может быть выделен один или несколько IP-адресов из определенной подсети, которые используются только им. Это обеспечивает стабильную репутацию IP-адреса.
• Изоляция "плохих соседей": Если один клиент использует IP-адреса для спама или других нежелательных действий, блокировка его IP-адресов затронет только его подсеть или выделенный пул, не влияя на других клиентов, использующих IP-адреса из других подсетей.

Практическое применение подсетей в прокси

Пул резидентных IP-адресов

Резидентные IP-адреса (residential IPs) — это IP-адреса, принадлежащие реальным интернет-провайдерам и присвоенные домашним пользователям. Они считаются наиболее "чистыми" и наименее подверженными блокировкам. Прокси-сервисы собирают эти IP-адреса из множества подсетей по всему миру.

• Распределение по провайдерам: Резидентные пулы обычно состоят из IP-адресов, распределенных по тысячам различных подсетей, принадлежащих разным интернет-ппровайдерам (ISP). Это обеспечивает максимальное разнообразие и имитацию реального пользовательского трафика.
• Минимизация рисков: При ротации запросов сервис может выбирать IP-адреса из разных подсетей различных ISP, что затрудняет для целевых сайтов идентификацию и блокировку всего прокси-сервиса.

Пул датацентровых IP-адресов

Датацентровые IP-адреса (datacenter IPs) обычно предоставляются крупными блоками из относительно небольшого числа подсетей, принадлежащих хостинг-провайдерам.

• Высокая доступность и скорость: Эти IP-адреса стабильны и обладают высокой пропускной способностью.
• Риск блокировки: Из-за их происхождения (датацентры) и частого использования для автоматизированных задач, IP-адреса из датацентровых подсетей чаще попадают в черные списки. Сервисы, использующие их, должны активно управлять репутацией подсетей и ротировать IP-адреса, избегая использования последовательных адресов из одной и той же подсети для критически важных запросов.

Ротация на уровне подсети

Продвинутые прокси-сервисы реализуют стратегии ротации, которые учитывают не только отдельные IP-адреса, но и их принадлежность к подсетям.

Пример алгоритма ротации:
1. Выбрать случайную подсеть из доступного пула, соответствующую критериям (например, геопозиция, тип).
2. Выбрать случайный доступный IP-адрес из этой подсети.
3. Использовать этот IP-адрес для запроса.
4. Для следующего запроса выбрать другую подсеть или IP-адрес из другой подсети.

Это позволяет максимально имитировать трафик от различных независимых пользователей, минимизируя вероятность обнаружения паттернов использования IP-адресов.

Идентификация и анализ подсетей

Для анализа и управления IP-адресами и подсетями используются стандартные сетевые инструменты.

Reverse DNS (rDNS)

Обратный DNS-запрос позволяет определить доменное имя, связанное с IP-адресом. Часто rDNS-записи для IP-адресов в одной подсети имеют схожие паттерны, что может указывать на их принадлежность к одному провайдеру или типу сети.

dig -x 8.8.8.8 +short
# Вывод: dns.google.

Если rDNS для многих IP-адресов из определенного диапазона указывает на rdns.provider-name.com или аналогичный шаблон, это подтверждает принадлежность к конкретной подсети и провайдеру.

WHOIS-запросы

WHOIS-запросы предоставляют информацию о владельце IP-адреса или блока IP-адресов, включая информацию об автономной системе (ASN), контактные данные и зарегистрированный диапазон IP-адресов (обычно в CIDR-нотации).

whois 1.1.1.1
# Output (сокращенно):
# OrgName: Cloudflare, Inc.
# OrgId: CLOUDFLARE
# CIDR: 1.1.1.0/24, 1.0.0.0/24
# ...

Анализ WHOIS-данных помогает прокси-сервисам:
* Определять географическое расположение и принадлежность IP-адресов.
* Выявлять провайдеров, которые чаще попадают в черные списки.
* Формировать пулы IP-адресов для конкретных задач (например, IP-адреса от мобильных операторов).

Оценка "чистоты" подсети

Репутация IP-адреса часто распространяется на всю подсеть. Если несколько IP-адресов из одной подсети попадают в черные списки, это может негативно сказаться на репутации всей подсети. Прокси-сервисы постоянно мониторят репутацию своих IP-адресов и подсетей.

• Blacklist-проверки: Регулярная проверка IP-адресов из подсетей по различным черным спискам (Spamhaus, SURBL и т.д.).
• Оценка активности: Анализ паттернов использования IP-адресов внутри подсетей для выявления аномалий, которые могут указывать на злоупотребления.
• Изоляция проблемных подсетей: Подсети с низкой репутацией могут быть временно или постоянно исключены из активного пула, пока их репутация не восстановится.

CIDR-нотация и её значение для прокси

CIDR-нотация IP/префикс является фундаментальной для работы с подсетями. Длина префикса /N прямо определяет размер подсети и количество доступных IP-адресов.

• Большие префиксы (например, /24, /28): Обозначают меньшие подсети с небольшим количеством IP-адресов. Такие подсети часто используются для более детального распределения и управления. Например, для выделения небольших пулов dedicated IP-адресов клиентам.
• Малые префиксы (например, /16, /8): Обозначают крупные блоки IP-адресов. Эти блоки обычно используются провайдерами или крупными датацентрами. Прокси-сервисы работают с IP-адресами, выделенными из этих больших блоков, но управляют ими уже на уровне более мелких подсетей, чтобы обеспечить гранулярность.

Понимание CIDR позволяет инженерам прокси-сервисов:
* Точно рассчитывать количество IP-адресов в каждом блоке.
* Эффективно планировать распределение IP-адресов.
* Оптимизировать маршрутизацию и балансировку нагрузки.

Пример конфигурации прокси с учетом подсетей

Представим упрощенный сценарий, где прокси-сервис управляет несколькими пулами IP-адресов для разных задач:

{
  "proxy_pools": {
    "residential_us_west": {
      "type": "residential",
      "geo": "US-West",
      "subnets": [
        "192.0.2.0/24",
        "198.51.100.0/24",
        "203.0.113.0/28"
      ],
      "rotation_strategy": "subnet_round_robin"
    },
    "datacenter_eu_fast": {
      "type": "datacenter",
      "geo": "EU",
      "subnets": [
        "10.0.0.0/24",
        "10.0.1.0/24"
      ],
      "rotation_strategy": "ip_random"
    },
    "dedicated_client_A": {
      "type": "dedicated",
      "client_id": "A",
      "subnets": [
        "198.18.0.0/29"
      ],
      "rotation_strategy": "none"
    }
  }
}

В этом примере:
* residential_us_west использует IP-адреса из трех разных подсетей, включая одну очень маленькую (/28), что обеспечивает большее разнообразие. Стратегия ротации subnet_round_robin означает, что запросы будут циклически переключаться между IP-адресами из разных подсетей.
* datacenter_eu_fast использует IP-адреса из двух датацентровых подсетей. Здесь ip_random может быть достаточно, так как датацентровые IP-адреса часто менее чувствительны к паттернам ротации в рамках одной подсети для некоторых задач.
* dedicated_client_A получает выделенную подсеть 198.18.0.0/29 (6 используемых IP-адресов), которая не ротируется с другими клиентами, обеспечивая изоляцию.

Такая конфигурация позволяет гибко управлять ресурсами, предоставлять клиентам нужные типы IP-адресов и оптимизировать производительность и надежность прокси-сервиса.