Verbindungspooling

Verbindungspooling, wenn es von einem Proxy-Dienst implementiert wird, beinhaltet, dass der Proxy einen Satz von gebrauchsfertigen, persistenten Verbindungen zu Upstream-Backend-Servern aufrechterhält, wodurch der Overhead für den Verbindungsaufbau reduziert und die Ressourcennutzung verbessert wird. Dieser Mechanismus ermöglicht es mehreren Client-Anfragen, bereits hergestellte Verbindungen zu Backend-Diensten wiederzuverwenden, wodurch die Leistungseinbußen durch häufigen Verbindungsaufbau und -abbau gemindert werden.

Grundlagen des Verbindungspoolings

Ein Verbindungspool ist ein Cache von Datenbank- oder Netzwerkverbindungen, der von einer Anwendung oder einem Dienst verwaltet wird. Anstatt für jede Anfrage eine neue Verbindung zu öffnen und diese sofort danach wieder zu schließen, fordert der Dienst eine Verbindung aus dem Pool an. Ist eine freie Verbindung verfügbar, wird sie dem Dienst zurückgegeben. Andernfalls wird eine neue Verbindung hergestellt, bis zu einem konfigurierten Maximum. Nach Abschluss wird die Verbindung zur Wiederverwendung an den Pool zurückgegeben.

Warum Verbindungspooling?

Der Overhead, der mit dem Aufbau einer neuen TCP-Verbindung, der Durchführung von TLS-Handshakes oder der Authentifizierung bei einem Backend-Dienst (z. B. einer Datenbank) verbunden ist, kann erheblich sein. Dieser Overhead umfasst:
* Latenz: Netzwerk-Roundtrips für den TCP-Drei-Wege-Handshake und die TLS-Verhandlung.
* Ressourcenverbrauch: CPU-Zyklen für kryptografische Operationen, Speicher für den Verbindungsstatus.
* Backend-Last: Jede neue Verbindung verbraucht Ressourcen auf dem Backend-Server.

Verbindungspooling begegnet diesen Problemen durch:

Wie Verbindungspools funktionieren

Ein typischer Verbindungspool verwaltet Verbindungen durch verschiedene Zustände und Parameter:
* Initialisierung: Der Pool kann beim Start eine Mindestanzahl von Verbindungen vorab herstellen.
* Ausleihen: Wenn ein Dienst eine Verbindung benötigt, fordert er diese vom Pool an.
* Erstellung: Wenn keine freien Verbindungen verfügbar sind und die maximale Poolgröße nicht erreicht wurde, wird eine neue Verbindung hergestellt.
* Rückgabe: Nach Gebrauch wird die Verbindung an den Pool zurückgegeben und typischerweise als frei markiert.
* Validierung: Verbindungen können regelmäßig validiert werden (z. B. über einen PING-Befehl oder einen einfachen Health Check), um sicherzustellen, dass sie noch aktiv und intakt sind.
* Entfernung: Veraltete, defekte oder übermäßig lange inaktive Verbindungen werden aus dem Pool entfernt.

Wichtige Betriebsparameter umfassen:
* Minimale Poolgröße: Die Anzahl der Verbindungen, die der Pool jederzeit offen zu halten versucht.
* Maximale Poolgröße: Die Obergrenze für die Gesamtzahl der aktiven und inaktiven Verbindungen.
* Idle Timeout: Die Dauer, die eine inaktive Verbindung im Pool verbleiben kann, bevor sie geschlossen wird.
* Verbindungslebensdauer: Das maximale Alter für jede Verbindung, nach dem sie geschlossen und neu erstellt wird, unabhängig von der Aktivität.
* Acquisition Timeout: Die maximale Zeit, die eine Anfrage auf eine verfügbare Verbindung wartet.

Proxys und Verbindungspooling

Ein Proxy-Dienst fungiert typischerweise als Vermittler, der Anfragen von Clients empfängt und an Upstream-Backend-Server weiterleitet. In dieser Architektur wird der Proxy selbst zum Client der Backend-Dienste und kann Verbindungspooling nutzen, um seine Interaktionen mit diesen Backends zu optimieren.

Proxy als Upstream-Client

Wenn ein Client eine Verbindung zu einem Proxy herstellt, baut der Proxy eine Verbindung zum beabsichtigten Backend auf oder verwendet eine bestehende wieder. Wenn der Proxy Verbindungspooling implementiert, verwaltet er seinen eigenen Pool von Verbindungen zu jedem konfigurierten Upstream-Server oder jeder Servergruppe.

Zum Beispiel wird ein HTTP-Reverse-Proxy, der Anfragen für mehrere Backend-Anwendungsserver verarbeitet, separate Verbindungspools für jeden unterschiedlichen Backend-Endpunkt unterhalten. Dies ermöglicht es dem Proxy, zahlreiche eingehende Client-Anfragen effizient zu bedienen, indem er seine eigenen Verbindungen zu den Anwendungsservern wiederverwendet.

Betrachten Sie ein Szenario, in dem ein Proxy so konfiguriert ist, dass er Anfragen an einen Backend-Dienst weiterleitet:

# Proxy-Konfigurationsausschnitt für einen Upstream-Dienst
upstream_service:
  hosts:
    - backend-server-1:8080
    - backend-server-2:8080
  connection_pool:
    max_connections: 100
    min_connections: 10
    idle_timeout_seconds: 60
    max_lifetime_seconds: 300

In dieser Konfiguration verwaltet der Proxy einen Pool von bis zu 100 Verbindungen zu backend-server-1:8080 und einen weiteren Pool von bis zu 100 Verbindungen zu backend-server-2:8080.

Verbindungsmultiplexing und Anfragen-Routing

Ein wesentlicher Vorteil des Verbindungspools eines Proxys ist seine Fähigkeit, Client-Anfragen über einen kleineren, persistenten Satz von Backend-Verbindungen zu multiplexen. Für Protokolle wie HTTP/1.1 mit Keep-Alive kann eine einzelne gepoolte Verbindung zu einem Backend mehrere sequentielle Client-Anfragen bedienen. Für Protokolle wie HTTP/2 oder gRPC kann eine einzelne zugrunde liegende TCP-Verbindung mehrere gleichzeitige Anfragen-Streams tragen.

Die interne Logik des Proxys verwaltet die Zuordnung eingehender Client-Anfragen zu verfügbaren Verbindungen aus seinem Pool. Wenn eine Anfrage eingeht:
1. Der Proxy identifiziert das Ziel-Backend.
2. Er ruft eine verfügbare Verbindung aus dem Pool des entsprechenden Backends ab.
3. Die Anfrage wird weitergeleitet.
4. Sobald das Backend antwortet, wird die Verbindung an den Pool zurückgegeben und ist bereit für eine weitere Anfrage.

Dieses Multiplexing reduziert die Gesamtzahl der aktiven Verbindungen, die auf den Backend-Servern erforderlich sind, verbessert deren Skalierbarkeit und reduziert ihren Ressourcenverbrauch.

Pool-Management und Backend-Gesundheit

Der Verbindungspool eines Proxys ist in seine gesamten Health-Checking- und Lastverteilungsmechanismen integriert.
* Health Checks: Der Proxy überwacht kontinuierlich die Gesundheit der Backend-Server. Wenn ein Backend als ungesund eingestuft wird, können Verbindungen zu diesem Backend im Pool als ungültig markiert, geleert oder proaktiv geschlossen werden. Es werden keine neuen Verbindungen zu ungesunden Backends hergestellt.
* Lastverteilung: Wenn mehrere gesunde Backends vorhanden sind, bestimmt der Lastverteilungsalgorithmus des Proxys, welches Backend die nächste Anfrage erhält. Der Verbindungspool stellt sicher, dass das gewählte Backend eine verfügbare Verbindung hat oder dass eine neue effizient hergestellt werden kann.
* Verbindungsentfernung: Der Proxy-Pool-Manager kümmert sich um die Entfernung von Verbindungen basierend auf Idle-Timeouts oder maximalen Lebensdauereinstellungen. Dies verhindert, dass Verbindungen veralten oder unnötig Ressourcen belegen. Es hilft auch, Verbindungen zu aktualisieren und Probleme mit langlebigen Verbindungen (z. B. Speicherlecks auf Backend-Servern oder Netzwerkgeräte-Timeouts) zu mindern.

Konfigurationsparameter und Best Practices

Effektives Verbindungspooling erfordert eine sorgfältige Abstimmung der Parameter basierend auf den Backend-Eigenschaften, Netzwerkbedingungen und erwarteten Verkehrsmustern.

Wichtige Pooling-Parameter

| Parameter | Beschreibung | Auswirkung
| Minimum Pool Size | Die Anzahl der Verbindungen, die der Pool aufrechtzuerhalten versucht. | Verhindert Kaltstarts und den anfänglichen Verbindungsaufwand. Wenn zu hoch, verbraucht es unnötige Backend-Ressourcen bei geringem Datenverkehr. Wenn zu niedrig, kann es bei Verkehrsspitzen zu einem plötzlichen Anstieg der Verbindungserstellung kommen.