Пул з'єднань

Пул з'єднань, реалізований проксі-сервісом, передбачає підтримку проксі-сервісом готового до використання набору постійних з'єднань до вищестоящих бекенд-серверів, тим самим зменшуючи накладні витрати на встановлення з'єднань та покращуючи використання ресурсів. Цей механізм дозволяє багаторазовим клієнтським запитам повторно використовувати встановлені з'єднання до бекенд-сервісів, пом'якшуючи вплив на продуктивність частого встановлення та розриву з'єднань.

Основи пулу з'єднань

Пул з'єднань – це кеш з'єднань до баз даних або мережевих з'єднань, що підтримується додатком або сервісом. Замість того, щоб відкривати нове з'єднання для кожного запиту та негайно закривати його після використання, сервіс запитує з'єднання з пулу. Якщо доступне вільне з'єднання, воно повертається сервісу. Якщо ні, встановлюється нове з'єднання, до досягнення налаштованого максимуму. Після завершення роботи з'єднання повертається до пулу для повторного використання.

Навіщо потрібен пул з'єднань?

Накладні витрати, пов'язані зі встановленням нового TCP-з'єднання, виконанням TLS-рукостискань або автентифікацією з бекенд-сервісом (наприклад, базою даних), можуть бути значними. Ці накладні витрати включають:
* Затримка: Мережеві раунд-тріпи для тристороннього TCP-рукостискання та TLS-узгодження.
* Споживання ресурсів: Цикли ЦП для криптографічних операцій, пам'ять для стану з'єднання.
* Навантаження на бекенд: Кожне нове з'єднання споживає ресурси на бекенд-сервері.

Пул з'єднань вирішує ці проблеми шляхом:

Як працюють пули з'єднань

Типовий пул з'єднань керує з'єднаннями через кілька станів та параметрів:
* Ініціалізація: Пул може попередньо встановити мінімальну кількість з'єднань під час запуску.
* Запозичення: Коли сервісу потрібне з'єднання, він запитує його з пулу.
* Створення: Якщо немає вільних з'єднань і максимальний розмір пулу не досягнуто, встановлюється нове з'єднання.
* Повернення: Після використання з'єднання повертається до пулу, зазвичай позначається як вільне.
* Валідація: З'єднання можуть періодично перевірятися (наприклад, за допомогою команди PING або простої перевірки стану), щоб переконатися, що вони все ще активні та справні.
* Видалення: Застарілі, пошкоджені або надмірно вільні з'єднання видаляються з пулу.

Ключові операційні параметри включають:
* Мінімальний розмір пулу: Кількість з'єднань, які пул намагається підтримувати відкритими постійно.
* Максимальний розмір пулу: Верхня межа загальної кількості активних та вільних з'єднань.
* Таймаут простою: Тривалість, протягом якої вільне з'єднання може залишатися в пулі до закриття.
* Термін життя з'єднання: Максимальний вік для будь-якого з'єднання, після якого воно закривається та створюється заново, незалежно від активності.
* Таймаут отримання: Максимальний час, протягом якого запит чекатиме на доступність з'єднання.

Проксі та пул з'єднань

Проксі-сервіс зазвичай діє як посередник, отримуючи запити від клієнтів та пересилаючи їх до вищестоящих бекенд-серверів. У цій архітектурі сам проксі стає клієнтом для бекенд-сервісів і може використовувати пул з'єднань для оптимізації своєї взаємодії з цими бекендами.

Проксі як вищестоящий клієнт

Коли клієнт підключається до проксі, проксі встановлює або повторно використовує з'єднання до цільового бекенду. Якщо проксі реалізує пул з'єднань, він підтримує власний пул з'єднань до кожного налаштованого вищестоящого сервера або групи серверів.

Наприклад, HTTP-зворотний проксі, що обробляє запити для кількох бекенд-серверів додатків, підтримуватиме окремі пули з'єднань для кожної окремої бекенд-точки. Це дозволяє проксі ефективно обслуговувати численні вхідні клієнтські запити, повторно використовуючи власні з'єднання до серверів додатків.

Розглянемо сценарій, коли проксі налаштовано для маршрутизації запитів до бекенд-сервісу:

# Фрагмент конфігурації проксі для вищестоящого сервісу
upstream_service:
  hosts:
    - backend-server-1:8080
    - backend-server-2:8080
  connection_pool:
    max_connections: 100
    min_connections: 10
    idle_timeout_seconds: 60
    max_lifetime_seconds: 300

У цій конфігурації проксі керуватиме пулом до 100 з'єднань до backend-server-1:8080 та іншим пулом до 100 з'єднань до backend-server-2:8080.

Мультиплексування з'єднань та маршрутизація запитів

Ключовою перевагою пулу з'єднань проксі є його здатність мультиплексувати клієнтські запити через менший, постійний набір бекенд-з'єднань. Для протоколів, таких як HTTP/1.1 з keep-alive, одне з'єднання з пулу до бекенду може обслуговувати кілька послідовних клієнтських запитів. Для протоколів, таких як HTTP/2 або gRPC, одне базове TCP-з'єднання може передавати кілька одночасних потоків запитів.

Внутрішня логіка проксі керує відображенням вхідних клієнтських запитів на доступні з'єднання зі свого пулу. Коли надходить запит:
1. Проксі ідентифікує цільовий бекенд.
2. Він отримує доступне з'єднання з пулу відповідного бекенду.
3. Запит пересилається.
4. Після відповіді бекенду з'єднання повертається до пулу, готове до наступного запиту.

Це мультиплексування зменшує загальну кількість активних з'єднань, необхідних на бекенд-серверах, покращуючи їх масштабованість та зменшуючи їхнє споживання ресурсів.

Керування пулом та стан бекенду

Пул з'єднань проксі інтегрується з його загальними механізмами перевірки стану та балансування навантаження.
* Перевірки стану: Проксі постійно відстежує стан бекенд-серверів. Якщо бекенд вважається несправним, з'єднання до цього бекенду в пулі можуть бути позначені як недійсні, вичерпані або проактивно закриті. Нові з'єднання до несправних бекендів не встановлюватимуться.
* Балансування навантаження: Коли існує кілька справних бекендів, алгоритм балансування навантаження проксі визначає, який бекенд отримає наступний запит. Пул з'єднань гарантує, що обраний бекенд має доступне з'єднання або що нове може бути встановлено ефективно.
* Видалення з'єднань: Менеджер пулу проксі обробляє видалення з'єднань на основі таймаутів простою або максимального терміну життя. Це запобігає застарінню з'єднань або непотрібному утриманню ресурсів. Це також допомагає оновлювати з'єднання, пом'якшуючи проблеми з довгоживучими з'єднаннями (наприклад, витоки пам'яті на бекенд-серверах або таймаути мережевих пристроїв).

Параметри конфігурації та найкращі практики

Ефективний пул з'єднань вимагає ретельного налаштування параметрів на основі характеристик бекенду, умов мережі та очікуваних шаблонів трафіку.

Ключові параметри пулу

| Параметр | Опис | Вплив