Спотворюючі Проксі

Проксі-сервери, що спотворюють дані, змінюють заголовки HTTP-запитів та відповідей, щоб приховати або змінити оригінальну інформацію клієнта перед її пересиланням на цільовий сервер або назад клієнту.

Розуміння проксі-серверів, що спотворюють дані

Проксі-сервер, що спотворює дані, активно змінює, додає або видаляє HTTP-заголовки як у запитах від клієнта до сервера, так і у відповідях від сервера до клієнта. На відміну від прозорих проксі-серверів, які передають запити без змін, або анонімних проксі-серверів, які можуть лише видаляти X-Forwarded-For, але все ще ідентифікують себе, проксі-сервери, що спотворюють дані, навмисно спотворюють деталі клієнта або проксі. Ця маніпуляція насамперед спрямована на підвищення анонімності, обхід обмежень контенту або сприяння певній поведінці додатків.

Порівняння типів проксі-серверів

Мета маніпуляції заголовками

Маніпуляція заголовками проксі-серверами, що спотворюють дані, служить кільком технічним цілям:

• Підвищена анонімність: Приховування оригінальної IP-адреси клієнта, операційної системи, браузера та інших ідентифікуючих характеристик.
• Обхід обмежень: Обхід географічних блокувань контенту, контролю доступу на основі IP-адрес або доставки контенту, специфічного для User-Agent.
• Веб-скрейпінг та автоматизація: Імітація різноманітних користувацьких середовищ, щоб уникнути виявлення та обмеження швидкості системами проти ботів.
• Безпека: Видалення потенційно конфіденційних заголовків або додавання заголовків, пов'язаних з безпекою, для специфічної логіки додатків.
• Тестування та розробка: Симуляція різних конфігурацій клієнтів або мережевих умов для тестування додатків.

Заголовки, що часто маніпулюються

Проксі-сервери, що спотворюють дані, націлені на конкретні HTTP-заголовки для досягнення своїх цілей.

X-Forwarded-For

Цей заголовок ідентифікує вихідну IP-адресу клієнта, що підключається до веб-сервера через HTTP-проксі або балансувальник навантаження.
* Поведінка за замовчуванням: Проксі-сервери зазвичай додають IP-адресу клієнта до цього заголовка.
* Спотворення: Проксі-сервер, що спотворює дані, може повністю видалити цей заголовок, замінити його власною IP-адресою проксі або вставити сфабриковану IP-адресу.
* Наслідки: Видалення або підробка цього заголовка запобігає реєстрації цільовим сервером справжньої IP-адреси клієнта, підвищуючи анонімність.

User-Agent

Заголовок User-Agent містить характерний рядок, який дозволяє учасникам мережевого протоколу ідентифікувати тип програми, операційну систему, постачальника програмного забезпечення або версію програмного забезпечення запитуючого клієнта.
* Поведінка за замовчуванням: Браузер надсилає свій специфічний рядок User-Agent.
* Спотворення: Проксі-сервери можуть змінювати цей заголовок, щоб маскуватися під інший браузер, операційну систему або пристрій.
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36
Може бути змінено на:
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 15_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1
* Наслідки: Обхід фільтрів контенту, специфічних для браузера, доступ до контенту, оптимізованого для мобільних пристроїв, або уникнення механізмів виявлення ботів, які дозволяють лише певні User-Agent.

Referer

Заголовок Referer містить URL-адресу сторінки, яка посилалася на запитуваний ресурс.
* Поведінка за замовчуванням: Браузер надсилає URL-адресу попередньої сторінки.
* Спотворення: Проксі-сервери можуть видаляти цей заголовок, щоб запобігти відстеженню рефералів, або замінювати його іншою URL-адресою, щоб ввести в оману цільовий сервер щодо походження запиту.
* Наслідки: Підвищення конфіденційності, запобігаючи веб-сайтам дізнаватися джерело трафіку, або підробка джерел трафіку для маніпуляції аналітикою.

Accept-Language

Цей заголовок вказує природну мову та локаль, які віддає перевагу клієнт.
* Поведінка за замовчуванням: Браузер надсилає бажані мови на основі налаштувань користувача.
* Спотворення: Проксі-сервери можуть змінювати цей заголовок, щоб імітувати клієнта з іншого географічного регіону або з іншими мовними уподобаннями.
Accept-Language: en-US,en;q=0.9,es;q=0.8
Може бути змінено на:
Accept-Language: fr-FR,fr;q=0.9,en;q=0.8
* Наслідки: Обхід географічних обмежень на основі мовних налаштувань або тестування локалізації контенту.

Via

Заголовок Via додається проксі-серверами, щоб показати протокол та одержувача (хост та порт), для яких був отриманий запит.
* Поведінка за замовчуванням: Проксі-сервери додають свій власний ідентифікатор.
* Спотворення: Проксі-сервер, що спотворює дані, може видалити цей заголовок або змінити його вміст, щоб приховати присутність проміжних проксі-серверів або спотворити власну ідентичність.
* Наслідки: Подальше приховування ланцюжка проксі-серверів та підвищення анонімності.

Proxy-Connection / Connection

Ці заголовки керують поведінкою з'єднання між клієнтом, проксі-сервером та сервером.
* Поведінка за замовчуванням: Proxy-Connection використовується для керування з'єднанням, специфічного для проксі, тоді як Connection – для наскрізного з'єднання.
* Спотворення: Проксі-сервери можуть маніпулювати цими заголовками для керування стійкістю з'єднання (наприклад, Keep-Alive, Close) або для забезпечення належної обробки на всіх рівнях проксі.
* Наслідки: Оптимізація використання мережевих ресурсів або забезпечення сумісності з конкретними конфігураціями сервера.

Користувацькі заголовки

Проксі-сервери також можуть вводити або змінювати користувацькі заголовки, часто з префіксом X-, для специфічної логіки додатків або внутрішньої маршрутизації.
* Поведінка за замовчуванням: Відсутні у стандартних клієнтських запитах.
* Спотворення: Додавання заголовків, таких як X-Proxy-ID з підробленим ID, або видалення будь-яких існуючих користувацьких заголовків, які можуть розкрити інформацію.
* Наслідки: Сприяння внутрішній комунікації між проксі-серверами, A/B тестуванню або поширенню токенів безпеки.

Механізми маніпуляції заголовками

Проксі-сервіси реалізують маніпуляцію заголовками за допомогою різних механізмів, зазвичай налаштованих через програмні параметри або код.

Конфігурація проксі-сервера

Веб-сервери, що діють як зворотні проксі-сервери (наприклад, Nginx, Apache HTTP Server), надають директиви для модифікації заголовків.

Приклад Nginx

server {
    listen 80;
    server_name example.com;

    location / {
        proxy_pass http://backend_server;

        # Видалити X-Forwarded-For для підвищення анонімності
        proxy_set_header X-Forwarded-For "";
        # Або встановити підроблений IP
        # proxy_set_header X-Forwarded-For "192.0.2.1"; 

        # Змінити User-Agent
        proxy_set_header User-Agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Firefox/100.0";

        # Видалити заголовок Referer
        proxy_set_header Referer "";

        # Додати користувацький заголовок
        proxy_set_header X-Proxy-Served-By "DistortingProxy v1.0";

        # Приховати заголовок Via
        proxy_hide_header Via;
    }
}

• proxy_set_header: Перезаписує або додає заголовок.
• proxy_hide_header: Запобігає передачі заголовка клієнту.
• proxy_pass_header: Явно передає заголовок, який інакше міг би бути прихований.

Користувацьке проксі-програмне забезпечення/бібліотеки

Спеціалізовані проксі-рішення (наприклад, Squid або користувацькі проксі на Python/Node.js) дозволяють програмно керувати заголовками.

Концептуальний приклад проксі на Python

import socket
import threading

def handle_client(client_socket):
    request_data = client_socket.recv(4096)
    headers = request_data.decode('utf-8').split('\r\n')

    modified_headers = []
    host = None
    for header in headers:
        if header.startswith("Host:"):
            host = header.split(" ")[1]
            modified_headers.append(header) # Зберігаємо Host для маршрутизації
        elif header.startswith("User-Agent:"):
            modified_headers.append("User-Agent: Mozilla/5.0 (Linux; Android 10) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Mobile Safari/537.36")
        elif header.startswith("X-Forwarded-For:"):
            # Видалити X-Forwarded-For
            continue 
        elif header.startswith("Referer:"):
            # Встановити підроблений Referer
            modified_headers.append("Referer: http://www.example.com/fake-source")
        else:
            modified_headers.append(header)

    modified_request = "\r\n".join(modified_headers) + "\r\n\r\n"

    # Переслати на цільовий сервер
    if host:
        try:
            target_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
            target_socket.connect((host, 80))
            target_socket.sendall(modified_request.encode('utf-8'))

            response_data = target_socket.recv(4096)
            client_socket.sendall(response_data)
        except Exception as e:
            print(f"Помилка підключення до цілі: {e}")
        finally:
            target_socket.close()

    client_socket.close()

def start_proxy(port):
    proxy_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    proxy_socket.bind(('', port))
    proxy_socket.listen(5)
    print(f"Проксі слухає на порту {port}")

    while True:
        client_socket, addr = proxy_socket.accept()
        print(f"Прийнято з'єднання від {addr[0]}:{addr[1]}")
        client_handler = threading.Thread(target=handle_client, args=(client_socket,))
        client_handler.start()

if __name__ == "__main__":
    start_proxy(8080)

Цей спрощений приклад демонструє, як користувацький проксі може аналізувати вхідні заголовки та переписувати певні з них перед пересиланням запиту.

Практичні наслідки

• Уникнення систем проти ботів: Шляхом ротації User-Agent та приховування X-Forwarded-For операції веб-скрейпінгу можуть виглядати як легітимний, різноманітний користувацький трафік, зменшуючи ймовірність блокування.
• Обхід географічних обмежень: Зміна Accept-Language або видалення заголовків, що ідентифікують місцезнаходження, може надати доступ до контенту, специфічного для регіону.
• Тестування стану безпеки: Організації можуть використовувати проксі-сервери, що спотворюють дані, для тестування того, як їхні веб-додатки реагують на несподівані або неправильно сформовані заголовки, виявляючи потенційні вразливості.
• A/B тестування та персоналізація контенту: Проксі-сервери можуть вставляти користувацькі заголовки для примусового використання певних варіантів контенту або правил персоналізації для цілей тестування.

Ризики та міркування

Хоча маніпуляція заголовками є потужним інструментом, вона несе ризики:

• Порушення функціональності веб-сайту: Надмірно агресивна або неправильна модифікація заголовків може порушити функціональність веб-сайту, призводячи до помилок або неповного відображення контенту. Веб-сайти часто покладаються на специфічні заголовки для керування сесіями, автентифікації або доставки контенту.
• Виявлення передовими системами: Складні системи виявлення ботів та шахрайства аналізують не лише заголовки. Вони враховують поведінкові патерни, JavaScript-фінгерпринтинг та репутацію IP-адреси, чого сама маніпуляція заголовками не може повністю протидіяти. Невідповідності між маніпульованими заголовками (наприклад, User-Agent для настільного комп'ютера з патернами запитів, схожими на мобільні) можуть викликати підозри.
• Правові та етичні питання: Спотворення інформації про клієнта може мати юридичні наслідки, особливо при використанні для обходу умов надання послуг, доступу до обмежених даних або участі в шкідливій діяльності.
• Навантаження на продуктивність: Процес аналізу, модифікації та повторного складання заголовків додає затримку до кожного запиту, потенційно впливаючи на швидкість та чутливість проксі-сервісу.
• Ризики неправильної конфігурації: Неправильні конфігурації проксі-сервера можуть ненавмисно розкрити інформацію про клієнта, не досягти бажаної анонімності або створити вразливості безпеки в самій інфраструктурі проксі.