DIY-Proxy-Farm: Aufbau und Konfiguration

Der Aufbau einer eigenen Proxy-Farm (DIY) erfordert die Zusammenstellung eines dedizierten Hardware-Stacks – bestehend aus 4G/LTE-Modems oder Einplatinencomputern – und die Konfiguration spezieller Software, um den Datenverkehr über mehrere Netzwerkschnittstellen zu leiten. Dieses Setup bietet eine private Infrastruktur für umfangreiches Web Scraping, Social-Media-Automatisierung und Anzeigenverifizierung und ermöglicht die vollständige Kontrolle über IP-Rotation und Datenschutz.

Hardware-Anforderungen für eine mobile Proxy-Farm

Die effektivsten DIY-Proxy-Farmen nutzen Mobilfunknetze, da 4G/LTE-IP-Adressen von Tausenden echter Nutzer geteilt werden, was sie hochgradig resistent gegen Blacklisting macht. Um eine mobile Proxy-Farm mit 20 Kanälen aufzubauen, benötigen Sie einen spezifischen Satz an Hardware-Komponenten, die für 24/7-Stabilität ausgelegt sind.

• Einplatinencomputer (SBC): Ein Raspberry Pi 4 (8GB RAM) ist der Industriestandard. Er bewältigt die Linux-Umgebung und verwaltet den USB-Bus effizient. Für größere Farmen (50+ Modems) wird ein dedizierter x86-Server oder ein Intel NUC bevorzugt, um CPU-Engpässe zu vermeiden.
• USB-4G-Modems: Huawei E3372 (insbesondere die Nicht-HiLink-Versionen für bessere Kontrolle) oder ZTE MF833V sind am kompatibelsten. Diese Modems ermöglichen die direkte serielle Kommunikation über AT-Befehle, um IP-Rotationen auszulösen.
• Aktive USB-Hubs: Standardmäßige passive Hubs werden versagen. Jedes 4G-Modem kann bei Spitzenlast zwischen 500mA und 1A ziehen. Sie benötigen industrielle, aktive USB-Hubs (z. B. Orico oder TP-Link) mit mindestens 60W bis 100W dedizierter Leistung pro 10 Modems.
• Kühlsystem: Modems erzeugen unter Last erhebliche Hitze. Verwenden Sie einen 120-mm-USB-Lüfter oder eine Rack-Montage-Kühllösung, um thermisches Throttling zu verhindern, das zu Verbindungsabbrüchen führt.

Für diejenigen, denen der Hardware-Aufwand und die Wartung zu anspruchsvoll sind, bietet GProxy mobile und residential Proxys auf Enterprise-Niveau an, die das gleiche Maß an Vertrauen und Anonymität ohne die physischen Infrastrukturkosten bieten.

Betriebssystem und Netzwerkkonfiguration

Ubuntu Server 22.04 LTS ist das empfohlene Betriebssystem aufgrund seiner umfassenden Treiberunterstützung für USB-Modems und Netzwerk-Stacks. Sobald das Betriebssystem installiert ist, besteht die größte Herausforderung darin, zu verhindern, dass das System jedes Modem als Standard-Gateway behandelt, was zu Routing-Konflikten führen würde.

Deaktivieren der Modem-Autokonfiguration

Moderne Linux-Distributionen verwenden den NetworkManager, der oft versucht, USB-Modems automatisch zu verwalten. Für eine Proxy-Farm müssen Sie dies deaktivieren, um die manuelle Kontrolle über Konfigurationsdateien oder benutzerdefinierte Skripte zu behalten.

sudo systemctl stop NetworkManager
sudo systemctl disable NetworkManager

Die Rolle von usb_modeswitch

Die meisten USB-Modems melden sich initial als virtuelles CD-ROM-Laufwerk an, um Treiber zu installieren. Sie müssen das Dienstprogramm usb_modeswitch verwenden, um sie in den "Modem-Modus" zu versetzen, damit das System sie als Netzwerkschnittstellen erkennt (z. B. eth1, wwan0).

Konfiguration der Proxy-Server-Software

Nachdem die Hardware als Netzwerkschnittstellen erkannt wurde, benötigen Sie einen Proxy-Server, der eingehende Anfragen verarbeitet und über bestimmte Modems routet. 3proxy ist das leichteste und flexibelste Werkzeug für diesen Zweck.

3proxy Konfigurationsbeispiel

Erstellen Sie eine 3proxy.cfg-Datei. Diese Konfiguration richtet zwei verschiedene Proxy-Ports (3128 und 3129) ein, die jeweils an eine bestimmte Netzwerkschnittstelle (eth1 und eth2) gebunden sind.

daemon
nserver 8.8.8.8
nserver 8.8.4.4
nscache 65536
timeouts 1 5 30 60 180 1800 15 60

# Authentifizierung
users "admin:CL:strongpassword123"
auth strong

# Route Port 3128 über Modem 1
external 192.168.8.100
internal 0.0.0.0
proxy -p3128

# Route Port 3129 über Modem 2
flush
external 192.168.9.100
internal 0.0.0.0
proxy -p3129

In diesem Setup sind 192.168.8.100 und 192.168.9.100 die statischen IPs, die Ihren USB-Modems zugewiesen wurden. Jeder Port auf Ihrem Raspberry Pi fungiert nun als Gateway zu einer anderen mobilen IP-Adresse.

Automatisierung der IP-Rotation mit Python

Einer der Hauptvorteile einer mobilen Proxy-Farm ist die Möglichkeit, die IP-Adresse bei Bedarf zu ändern, indem das Modem neu mit dem Mobilfunknetz verbunden wird. Dies wird durch das Senden von AT-Befehlen an die serielle Schnittstelle des Modems erreicht.

Das folgende Python-Skript zeigt, wie eine Neuverbindung für ein Huawei-Modem ausgelöst wird, was den ISP zwingt, dem Gerät eine neue IP-Adresse zuzuweisen.

import serial
import time

def rotate_ip(port='/dev/ttyUSB0'):
    try:
        ser = serial.Serial(port, 115200, timeout=1)
        # Verbindung prüfen
        ser.write(b'AT\r\n')
        time.sleep(1)
        
        # Verbindung zum Netzwerk trennen
        ser.write(b'AT^NDISDUP=1,0\r\n')
        print(f"Trenne Verbindung auf {port}...")
        time.sleep(5)
        
        # Neu mit dem Netzwerk verbinden
        ser.write(b'AT^NDISDUP=1,1,"internet"\r\n')
        print(f"Verbinde {port} neu für neue IP...")
        time.sleep(10)
        
        ser.close()
    except Exception as e:
        print(f"Fehler: {e}")

if __name__ == "__main__":
    # Beispiel: IP-Rotation für das erste Modem
    rotate_ip('/dev/ttyUSB0')

Die Integration dieses Skripts in eine Web-API ermöglicht es Ihnen, IPs über eine einfache HTTP-Anfrage zu rotieren, ähnlich den "Rotation API"-Funktionen professioneller Dienste wie GProxy.

Skalierung und Leistungsoptimierung

Sobald Sie über 10 Modems hinaus skalieren, werden Sie auf Einschränkungen des Linux-Kernels und Probleme bei der Stromversorgung stoßen. Die Optimierung des Systems für hohe Parallelität ist für eine stabile Farm zwingend erforderlich.

Kernel-Tuning

Passen Sie die /etc/sysctl.conf an, um eine höhere Anzahl gleichzeitiger Verbindungen zu bewältigen und Time-Wait-Zustände zu reduzieren. Diese Einstellungen verhindern Fehler wie "Too many open files" oder "Connection refused", die bei intensiven Scraping-Aufgaben häufig auftreten.

• net.ipv4.ip_local_port_range = 1024 65535 — Erhöht den verfügbaren Port-Bereich.
• net.core.somaxconn = 1024 — Erhöht die Warteschlangengröße für eingehende Verbindungen.
• fs.file-max = 1000000 — Erhöht das Limit für offene Dateideskriptoren.
• net.ipv4.tcp_tw_reuse = 1 — Erlaubt dem Kernel, Sockets im TIME_WAIT-Zustand wiederzuverwenden.

Bandbreitenmanagement

Mobilfunknetze sind asymmetrisch. Während Sie vielleicht 50 Mbps Download haben, könnte Ihr Upload auf 5 Mbps begrenzt sein. Wenn Sie 20 Modems an einem einzigen Raspberry Pi betreiben, kann die Bandbreite des USB 2.0/3.0-Busses zum Engpass werden. Die Verteilung der Modems auf mehrere SBCs und deren Vernetzung über einen Gigabit-Switch ist der professionelle Weg zur Skalierung.

Sicherheit und Fernverwaltung

Eine DIY-Farm ist ein Gateway in Ihr lokales Netzwerk. Sie ungeschützt zu lassen, stellt ein erhebliches Risiko dar. Sie müssen strenge Firewall-Regeln mit iptables oder nftables implementieren, um sicherzustellen, dass nur autorisierte IPs auf Ihre Proxy-Ports zugreifen können.

Da mobile IPs dynamisch sind, benötigen Sie zudem eine Möglichkeit, den Zustand jedes Modems zu überwachen. Die Implementierung eines einfachen Monitoring-Dashboards mit Prometheus und Grafana kann Ihnen helfen, Latenz, Paketverlust und Datenverbrauch für jede SIM-Karte zu visualisieren. Dies ermöglicht es Ihnen, ausfallende Modems oder gedrosselte SIMs zu identifizieren, bevor sie Ihren Betrieb beeinträchtigen.

Wenn die Komplexität der Hardware-Verwaltung, Kühlung, SIM-Karten-Abonnements und des Kernel-Tunings Sie von Ihrem Kerngeschäft ablenkt, bietet GProxy einen nahtlosen Übergang zu einer verwalteten Umgebung. Mit GProxy erhalten Sie Zugriff auf schnelle, vielfältige IP-Pools mit 99,9 % Verfügbarkeit, wodurch die physische Hardware-Wartung entfällt.

Wichtige Erkenntnisse

Der Aufbau einer eigenen Proxy-Farm ist ein komplexes, aber lohnendes technisches Projekt, das unübertroffene Kontrolle über Ihren digitalen Fußabdruck bietet. Sie haben die wesentlichen Hardware-Anforderungen, die Software-Konfiguration mit 3proxy und die Automatisierung der IP-Rotation via Python-Skripten kennengelernt.

• Priorität auf Stromversorgung: Verwenden Sie immer aktive USB-Hubs in Industriequalität; unzureichende Leistung ist die Hauptursache für Modem-Instabilität.
• Hitze überwachen: Aktive Kühlung ist für den 24/7-Betrieb obligatorisch, um Hardware-Verschleiß und Verbindungsabbrüche zu vermeiden.
• Software-Flexibilität: Nutzen Sie 3proxy wegen seines geringen Ressourcenverbrauchs und der Fähigkeit, spezifische Ports bestimmten Netzwerkschnittstellen zuzuweisen.
• ROI bewerten: DIY-Farmen sind kosteneffizient für statische, langfristige Projekte. Für massive Skalierung und vielfältige Geolocation-Anforderungen bieten professionelle Dienste wie GProxy eine bessere Zuverlässigkeit und geringeren operativen Aufwand.