JA3 Fingerprint: Обнаружение прокси и TLS-клиентов с GProxy

JA3 Fingerprint — это криптографический хеш, генерируемый на основе параметров TLS Client Hello, который позволяет однозначно идентифицировать стек TLS-клиента и используется для обнаружения ботов, сканеров и прокси-серверов.

Что такое JA3 Fingerprint

JA3 Fingerprint — это метод, разработанный Salesforce, для создания уникального отпечатка TLS-клиента. Он основан на информации, содержащейся в пакете TLS Client Hello — первом сообщении, отправляемом клиентом при установлении TLS-соединения. Этот отпечаток представляет собой MD5-хеш строки, сгенерированной из пяти ключевых полей Client Hello. Поскольку различные клиенты (браузеры, утилиты, библиотеки) реализуют TLS по-разному, их Client Hello пакеты часто имеют уникальные комбинации этих полей, что позволяет их идентифицировать.

Компоненты JA3 Fingerprint

JA3 использует следующие поля из пакета TLS Client Hello:

Версия TLS (TLS Version): Версия протокола TLS, которую клиент готов использовать (например, TLS 1.0, 1.2, 1.3).
Наборы шифров (Cipher Suites): Список алгоритмов шифрования, которые клиент поддерживает и предпочитает, в порядке приоритета.
Расширения TLS (TLS Extensions): Список расширений TLS, которые клиент запрашивает (например, Server Name Indication (SNI), Application-Layer Protocol Negotiation (ALPN), Supported Groups).
Поддерживаемые эллиптические кривые (Elliptic Curves): Список эллиптических кривых, поддерживаемых клиентом для обмена ключами.
Форматы эллиптических кривых (Elliptic Curve Formats): Список форматов точек эллиптических кривых, поддерживаемых клиентом.

Процесс генерации JA3

Процесс генерации JA3 включает следующие шаги:

Извлечение значений вышеуказанных полей из пакета Client Hello.
Конвертация каждого значения в его числовое представление.
Объединение всех значений в одну строку, используя дефисы (-) в качестве разделителей между категориями и запятые (,) внутри списков (например, для наборов шифров или расширений).
Вычисление MD5-хеша полученной строки.

Пример структуры строки перед хешированием:
TLSVersion-CipherSuites-Extensions-EllipticCurves-EllipticCurveFormats

Где CipherSuites, Extensions, EllipticCurves, EllipticCurveFormats — это списки числовых значений, разделённые запятыми.

Пример строки для хеширования:
771-4865,4866,4867,49195,49199,49196,49200,52393,52392,49171,49172,156,157,47,53-0,11,10,35,17513,23,13,5,16,65281,21,45,43,27,51,18,44,42,28,24-29,23,24-0,1,2

После хеширования MD5: e7a1773dd0c58066bb71761d4b684226 (типичный для Google Chrome).

JA3 Fingerprint и обнаружение прокси

Для прокси-сервисов JA3 Fingerprint является мощным инструментом для идентификации и фильтрации трафика. Он позволяет различать легитимных пользователей, использующих стандартные браузеры, от автоматизированных скриптов, ботов, сканеров или других прокси-серверов, которые могут маскироваться под обычный трафик.

Идентификация нестандартных клиентов

Большинство браузеров имеют стабильные и хорошо известные JA3-отпечатки. Автоматизированные инструменты, такие как curl, wget, библиотеки requests в Python, net/http в Go, или различные ботнеты, часто имеют свои собственные, предсказуемые JA3-отпечатки, которые существенно отличаются от браузерных.

Клиент	Пример JA3 Fingerprint	Описание
Google Chrome (macOS)	`e7a1773dd0c58066bb71761d4b684226`	Стандартный браузер
Mozilla Firefox (macOS)	`448d61f1c750b271d447a16e788448f7`	Стандартный браузер
Python `requests`	`e2a44d01b972e04306443c0134a946b2`	Типичный для Python-скриптов
`curl`	`5c378e91e92d854ce45c1125208f7ce1`	Часто используется для скриптов
Go `net/http`	`8c6a084c7a20c354e3a4783307b22a61`	Типичный для Go-приложений

Прокси-сервис может использовать базу данных известных JA3-отпечатков для категоризации входящего трафика. Отпечатки, не соответствующие ни одному известному браузеру, могут быть помечены как подозрительные.

Обнаружение прокси-туннелирования и модификаций TLS

Когда клиент использует прокси, особенно прозрачный прокси или прокси, который перехватывает и пересоздает TLS-соединения (SSL/TLS interception), пакет Client Hello может быть изменен.

Прозрачные прокси: В некоторых случаях прозрачный прокси может не изменять Client Hello, и JA3 клиента останется прежним. Однако, если прокси сам инициирует TLS-соединение с целевым сервером, используя свой собственный TLS-стек, то сервер увидит JA3 прокси, а не исходного клиента.
HTTPS-прокси (CONNECT): При использовании HTTPS-прокси с методом CONNECT, клиент устанавливает TLS-соединение через прокси к целевому серверу. В этом случае, если прокси не выполняет SSL/TLS interception, JA3-отпечаток клиента будет виден целевому серверу без изменений. Однако, если прокси выполняет перехват (например, для фильтрации или кеширования), он сам генерирует новый Client Hello, и его JA3 будет виден целевому серверу. Это позволяет идентифицировать прокси.
Различия в JA3 и User-Agent: Классический признак использования прокси или автоматизированного инструмента — несоответствие между JA3-отпечатком и заголовком User-Agent. Например, если User-Agent утверждает, что это Chrome, но JA3 соответствует curl, это является сильным индикатором подмены или автоматизированного трафика.

Мониторинг стабильности отпечатков

Легитимный браузер обычно имеет стабильный JA3-отпечаток в течение своей сессии (если только не происходит обновление браузера или изменение его конфигурации). Непоследовательность JA3-отпечатков от одного и того же "пользователя" или IP-адреса может указывать на ротацию клиентов, использование различных автоматизированных инструментов или попытки обхода защиты.

Практическое применение JA3 в прокси-сервисах

Прокси-сервисы могут интегрировать JA3-анализ на различных уровнях для повышения безопасности и эффективности фильтрации трафика.

Сбор JA3 Fingerprint

Сбор JA3 может быть реализован на уровне сетевого перехвата или в специализированном TLS-прокси.

import hashlib
from scapy.all import rdpcap, TLSClientHello
from scapy.layers.tls.handshake import TLSHandshake, TLSExtension, TLSCipherSuite, TLS_Ext_EllipticCurves, TLS_Ext_ECPointFormats

def get_ja3_fingerprint(client_hello_packet):
    if not client_hello_packet or not isinstance(client_hello_packet, TLSClientHello):
        return None

    # TLS Version
    tls_version = client_hello_packet.version

    # Cipher Suites
    cipher_suites = sorted([cs.val for cs in client_hello_packet.ciphers])

    # Extensions
    extensions = []
    if client_hello_packet.ext:
        for ext in client_hello_packet.ext:
            extensions.append(ext.type)
    extensions = sorted(extensions)

    # Elliptic Curves (from Supported Groups extension, type 10)
    elliptic_curves = []
    for ext in client_hello_packet.ext:
        if isinstance(ext, TLS_Ext_EllipticCurves):
            elliptic_curves = sorted([curve.val for curve in ext.groups])
            break

    # Elliptic Curve Point Formats (from EC Point Formats extension, type 11)
    elliptic_curve_formats = []
    for ext in client_hello_packet.ext:
        if isinstance(ext, TLS_Ext_ECPointFormats):
            elliptic_curve_formats = sorted([fmt.val for fmt in ext.formats])
            break

    # Construct the JA3 string
    ja3_string = (
        f"{tls_version}-"
        f"{','.join(map(str, cipher_suites))}-"
        f"{','.join(map(str, extensions))}-"
        f"{','.join(map(str, elliptic_curves))}-"
        f"{','.join(map(str, elliptic_curve_formats))}"
    )

    # Calculate MD5 hash
    return hashlib.md5(ja3_string.encode('ascii')).hexdigest()

# Пример использования (предполагается, что у вас есть pcap файл с TLS трафиком)
# packets = rdpcap("tls_traffic.pcap")
# for pkt in packets:
#     if pkt.haslayer(TLSClientHello):
#         ja3 = get_ja3_fingerprint(pkt[TLSClientHello])
#         if ja3:
#             print(f"JA3 Fingerprint: {ja3}")

Код выше демонстрирует принцип извлечения компонентов JA3 с использованием библиотеки scapy. В реальных прокси-сервисах эти данные могут быть получены непосредственно из TLS-сессии до её установления или в процессе её перехвата.

Анализ и фильтрация

Полученные JA3-отпечатки могут быть использованы для:

Черные и белые списки: Блокировка трафика с известными JA3-отпечатками ботов или разрешение только трафика с отпечатками, соответствующими одобренным браузерам.
Динамическая маршрутизация: Перенаправление трафика с подозрительными JA3 на специальные honeypot-серверы или страницы с CAPTCHA.
Оценка репутации: Интеграция JA3 с другими данными (IP-репутация, User-Agent, поведенческий анализ) для комплексной оценки риска.
Мониторинг аномалий: Отслеживание появления новых или необычных JA3-отпечатков в трафике, что может указывать на новые угрозы или изменения в инструментах атаки.

Ограничения и методы обхода JA3

JA3, как и любой метод отпечатка, не является панацеей и имеет свои ограничения.

JA3 Mimicry (имитация)

Продвинутые злоумышленники могут модифицировать свои TLS-стеки или использовать библиотеки, которые позволяют им имитировать JA3-отпечатки популярных браузеров. Это достигается путем точного воспроизведения наборов шифров, расширений и их порядка, как у целевого браузера.

Например, существуют инструменты, которые могут перехватывать Client Hello от реального браузера и затем использовать его параметры для генерации собственного Client Hello, совпадающего по JA3.

Динамическая рандомизация

Некоторые инструменты для обхода обнаружения могут динамически изменять параметры Client Hello при каждом соединении, генерируя новый, но "легитимный" JA3-отпечаток, который может соответствовать одному из множества реальных браузерных отпечатков. Это усложняет создание черных списков.

Головные браузеры (Headless Browsers)

Использование headless-браузеров (таких как Puppeteer, Selenium) для автоматизации позволяет генерировать JA3-отпечатки, идентичные реальным браузерам, поскольку они используют тот же TLS-стек. В таких случаях JA3 должен использоваться в сочетании с другими методами обнаружения, такими как анализ HTTP-заголовков (например, отсутствие или изменение некоторых специфичных для браузера заголовков), JavaScript-отпечатки (Canvas, WebGL), или поведенческий анализ.

JA3 Fingerprint в сравнении с другими методами отпечатков

JA3 дополняет другие методы отпечатка, предоставляя уникальный взгляд на клиента на уровне TLS.

Сравнение с HTTP-заголовками

JA3: Работает на уровне TLS. Не зависит от HTTP-заголовков. Сложнее подделать, так как требует модификации TLS-стека.
HTTP-заголовки (User-Agent, Accept-Language, etc.): Работают на уровне приложения. Легко подделываются путем изменения строковых значений. Часто используются для начальной фильтрации, но ненадежны для окончательного определения клиента.

Сравнение с JavaScript-отпечатками

JA3: Серверный метод. Не требует выполнения JavaScript на стороне клиента. Эффективен для клиентов, которые не выполняют JS (например, curl, боты без JS-движка).
JavaScript-отпечатки (Canvas, WebGL, AudioContext, Font enumeration): Требуют выполнения JS в браузере. Могут быть очень детализированными, но легко блокируются или искажаются клиентами, которые не выполняют JS, или используют инструменты для обхода JS-отпечатков.

JA3 является фундаментальным методом, работающим на ранней стадии соединения. Он предоставляет информацию, которую труднее сфальсифицировать, чем HTTP-заголовки, и которая доступна до того, как клиент отправит полный HTTP-запрос или выполнит JavaScript. Таким образом, JA3 является ценным компонентом многоуровневой системы обнаружения для прокси-сервисов.

Анализ и проверка

Безопасность и сеть

Генераторы

9 инструментов

JA3 Fingerprint