Proxy-Listen

Proxy-Listen sind Zusammenstellungen öffentlich verfügbarer IP-Adressen und Portnummern von Proxy-Servern, die hauptsächlich auf spezialisierten Websites oder in Foren zu finden sind. Obwohl ihre grundlegende Konnektivität überprüft werden kann, wird ihre Verwendung für ernsthafte Anwendungen aufgrund erheblicher Sicherheits-, Zuverlässigkeits- und Leistungsrisiken generell nicht empfohlen.

Proxy-Listen aggregieren Informationen über offene Proxy-Server, die Netzwerkdienste sind, die es Benutzern ermöglichen, indirekte Netzwerkverbindungen zu anderen Netzwerkdiensten herzustellen. Diese Listen enthalten typischerweise die IP-Adresse des Proxys, die Portnummer, das Protokoll (HTTP, HTTPS, SOCKS4, SOCKS5) und manchmal den Standort oder das Anonymitätsniveau.

Wo man Proxy-Listen findet

Proxy-Listen sind hauptsächlich an verschiedenen Orten zu finden, oft mit unterschiedlichem Grad an Genauigkeit und Aktualität.

Dedizierte Proxy-Listen-Websites

Zahlreiche Websites sind darauf spezialisiert, kostenlose Proxy-Listen zusammenzustellen und zu veröffentlichen. Diese Seiten durchsuchen oft das Internet nach offenen Proxys und aktualisieren ihre Listen regelmäßig. Beispiele sind:
* FreeProxyLists.net
* SPYS.one
* Proxy-List.org
* HideMy.name (bietet eine kostenlose Liste neben kostenpflichtigen Diensten an)

Diese Seiten kategorisieren Proxys typischerweise nach Land, Protokoll, Geschwindigkeit und Anonymitätsniveau. Die präsentierten Daten, insbesondere bezüglich Geschwindigkeit und Anonymität, sollten jedoch unabhängig überprüft werden.

GitHub-Repositories

Entwickler und Sicherheitsforscher pflegen oft GitHub-Repositories, die Proxy-Listen kuratieren. Diese Listen können durch automatisierte Skripte oder Community-Beiträge aktualisiert werden. Die Suche auf GitHub nach Begriffen wie "free proxy list", "public proxies" oder "SOCKS5 list" kann Ergebnisse liefern. Diese Repositories enthalten manchmal Skripte zur Überprüfung der Proxys innerhalb der Liste.

Online-Foren und Communities

Bestimmte Online-Foren, insbesondere solche, die sich auf Web Scraping, Cybersicherheit oder Anonymität konzentrieren, teilen gelegentlich Proxy-Listen. Diese Listen können spezifischer oder spezialisierter sein, bergen aber die gleichen Überprüfungsprobleme wie andere Quellen.

Wie Proxy-Listen zusammengestellt werden

Die Zusammenstellung von Proxy-Listen beinhaltet typischerweise automatisierte Scan- und Erkennungsmethoden anstelle manueller Kuration.

Automatisiertes Scannen

Die gängigste Methode besteht darin, große Bereiche von IP-Adressen nach offenen Ports zu scannen, die üblicherweise von Proxy-Servern verwendet werden (z. B. 80, 8080, 3128, 1080). Sobald ein offener Port erkannt wird, wird ein Banner-Grab oder ein Verbindungsversuch unternommen, um festzustellen, ob der auf diesem Port laufende Dienst als Proxy fungiert und welches Protokoll er unterstützt.

Web Scraping

Einige Dienste scrapen andere Proxy-Listen-Websites oder öffentlich verfügbare Verzeichnisse, um Listen zu aggregieren.

Benutzer-Einreichungen

Seltener können Benutzer bekannte offene Proxys einreichen. Diese Methode ist weniger skalierbar und anfälliger für veraltete oder bösartige Einträge.

Wie man Proxys aus einer Liste überprüft

Die Überprüfung von Proxys aus einer Liste ist aufgrund ihrer inhärenten Unzuverlässigkeit entscheidend. Die Überprüfung umfasst die Prüfung der Konnektivität, Leistung, Anonymität und Protokollunterstützung.

Konnektivitätstest

Die primäre Prüfung ist die Bestätigung, ob der Proxy online und erreichbar ist.

# Test der HTTP-Proxy-Konnektivität zu einem bekannten Dienst
curl -x http://PROXY_IP:PROXY_PORT http://www.google.com --max-time 5

Eine erfolgreiche Antwort (z. B. HTML-Inhalt von Google) zeigt eine grundlegende Konnektivität an. Ein Timeout oder ein Verbindungsfehler bedeutet, dass der Proxy wahrscheinlich offline ist oder die Verbindung blockiert.

Anonymitätstest

Stellen Sie fest, ob der Proxy Ihre echte IP-Adresse preisgibt oder identifizierende Header hinzufügt.

# Test der Anonymität für einen HTTP-Proxy
curl -x http://PROXY_IP:PROXY_PORT http://ipinfo.io/ip --max-time 5

Wenn die Ausgabe PROXY_IP ist, ist der Proxy wahrscheinlich auf IP-Ebene anonym. Wenn es Ihre echte IP ist, ist der Proxy transparent oder fehlgeschlagen. Wenn es eine andere IP ist, handelt es sich um einen anderen Proxy-Typ. Fortgeschrittenere Prüfungen umfassen die Suche nach X-Forwarded-For oder Via Headern.

# Überprüfung auf identifizierende Header
curl -x http://PROXY_IP:PROXY_PORT http://headers.cloxy.net --max-time 5

Analysieren Sie die Ausgabe auf Header, die Ihre Identität preisgeben könnten.

Geschwindigkeits- und Latenztest

Messen Sie die Zeit, die benötigt wird, um eine Verbindung herzustellen und Daten über den Proxy abzurufen.

# Messung der Übertragungszeit über einen HTTP-Proxy
curl -x http://PROXY_IP:PROXY_PORT http://example.com -w "Total time: %{time_total}s\n" -o /dev/null --max-time 10

Niedrigere time_total-Werte weisen auf eine bessere Leistung hin. Wiederholte Tests werden empfohlen, da die Leistung schwanken kann.

Protokollunterstützung

Bestätigen Sie, dass der Proxy das gewünschte Protokoll (HTTP, HTTPS, SOCKS4, SOCKS5) unterstützt.

# Test der SOCKS5-Proxy-Konnektivität
# Hinweis: curl benötigt socks5h für die Hostname-Auflösung über den Proxy
curl -x socks5h://PROXY_IP:PROXY_PORT http://ipinfo.io/ip --max-time 5

Wenn ein als SOCKS5 beworbener Proxy mit socks5h fehlschlägt, unterstützt er möglicherweise nur SOCKS4 oder ist falsch konfiguriert.

Standortüberprüfung

Überprüfen Sie den geografischen Standort des Proxy-Servers. Dienste wie ipinfo.io liefern Geolocation-Daten.

# Details zur Proxy-IP abrufen
curl http://PROXY_IP/json

Vergleichen Sie das gemeldete Land/die Stadt mit dem beworbenen Standort auf der Proxy-Liste. Abweichungen sind häufig.

Automatisierte Überprüfung mit Python

Für große Listen sind automatisierte Skripte notwendig.

import requests
import time

def verify_proxy(proxy_address, protocol='http'):
    proxies = {
        'http': f'{protocol}://{proxy_address}',
        'https': f'{protocol}://{proxy_address}'
    }
    try:
        start_time = time.time()
        response = requests.get('http://ipinfo.io/json', proxies=proxies, timeout=5)
        response.raise_for_status() # Raise an exception for HTTP errors
        end_time = time.time()
        data = response.json()
        print(f"Proxy {proxy_address} is operational.")
        print(f"  Speed: {end_time - start_time:.2f} seconds")
        print(f"  Reported IP: {data.get('ip')}")
        print(f"  Location: {data.get('city')}, {data.get('country')}")
        return True
    except requests.exceptions.RequestException as e:
        print(f"Proxy {proxy_address} failed: {e}")
        return False

# Beispielnutzung
# verify_proxy("1.2.3.4:8080", "http")
# verify_proxy("5.6.7.8:1080", "socks5")

Sollten Sie Proxy-Listen verwenden?

Die Entscheidung, Proxys aus öffentlichen Listen zu verwenden, hängt stark von der beabsichtigten Anwendung ab, wobei die damit verbundenen Risiken stark zu berücksichtigen sind.

Begrenzte Anwendungsfälle

• Kurzlebige, nicht-kritische Aufgaben: Für einfache, einmalige Anfragen, bei denen Datensicherheit und Zuverlässigkeit keine Rolle spielen und die sofortige Entsorgung des Proxys akzeptabel ist.
• Lernen und Testen: Um zu verstehen, wie Proxys funktionieren oder um grundlegende Netzwerkkonfigurationen in einer Nicht-Produktionsumgebung zu testen.
• Umgehung grundlegender Geo-Beschränkungen: Für den Zugriff auf Inhalte mit trivialer Geo-Blockierung, vorausgesetzt, der Proxy befindet sich in der richtigen Region und ist funktionsfähig.

Erhebliche Risiken und Nachteile

• Sicherheitslücken:
  • Datenabfangen (MITM): Viele kostenlose Proxys werden von böswilligen Akteuren betrieben, die den Datenverkehr, insbesondere unverschlüsselte HTTP-Verbindungen, abfangen, protokollieren oder ändern können. Anmeldeinformationen, Cookies und andere sensible Daten sind gefährdet.
  • Malware-Injektion: Proxys können bösartigen Code (z. B. JavaScript) in Webseiten injizieren und so Client-Systeme kompromittieren.
  • IP-Lecks: Falsch konfigurierte oder minderwertige Proxys können unbeabsichtigt Ihre echte IP-Adresse preisgeben und die Anonymität gefährden.
• Unzuverlässigkeit und Instabilität:
  • Hohe Ausfallzeiten: Öffentliche Proxys sind häufig offline, überlastet oder schnell auf Blacklists gesetzt, was zu hohen Fehlerraten führt.
  • Inkonsistente Leistung: Die Geschwindigkeiten variieren stark und sind oft sehr langsam aufgrund von Überlastung oder begrenzter Bandbreite.
  • Kurze Lebensdauer: Proxys auf Listen haben eine sehr kurze Betriebslebensdauer, was eine ständige Neuüberprüfung und Ersetzung erfordert.
• Anonymitätsbedenken:
  • Protokollierung: Viele kostenlose Proxys protokollieren Benutzeraktivitäten, was jegliche Datenschutzvorteile zunichtemacht.
  • Transparenz: Ein erheblicher Teil der kostenlosen Proxys ist transparent oder verfälschend, was bedeutet, dass sie Ihre wahre IP-Adresse preisgeben oder teilweise preisgeben.
• Blacklisting:
  • Vorab-Blacklisting von IPs: IPs auf öffentlichen Listen sind oft bereits von beliebten Websites und Diensten (z. B. Google, Social-Media-Plattformen) aufgrund früheren Missbrauchs auf Blacklists gesetzt.
  • Geteilte IP-Pools: Die geteilte Natur dieser IPs bedeutet, dass Ihre Aktionen mit früheren bösartigen Aktivitäten anderer Benutzer desselben Proxys in Verbindung gebracht werden könnten.

Vergleich: Kostenlose Proxy-Listen vs. kostenpflichtige Proxy-Dienste

Alternativen zu kostenlosen Proxy-Listen

Für jede Anwendung, die Zuverlässigkeit, Sicherheit oder anhaltende Leistung erfordert, sind Alternativen zu kostenlosen Proxy-Listen notwendig.

• Kostenpflichtige Private Proxys: Dedizierte IP-Adressen, die ausschließlich einem Benutzer zugewiesen sind. Diese bieten bessere Geschwindigkeit, Zuverlässigkeit und Sicherheit als öffentliche Listen.
• Kostenpflichtige Residential Proxys: IP-Adressen, die von Internet Service Providern (ISPs) an Haushalte vergeben werden, wodurch der Datenverkehr als legitimer Benutzerdatenverkehr erscheint. Hochwirksam zur Umgehung ausgeklügelter Erkennungssysteme, aber teurer.
• Kostenpflichtige Datacenter Proxys: IPs, die aus Rechenzentren stammen. Schneller und billiger als Residential Proxys, aber leichter von fortschrittlichen Anti-Bot-Systemen erkannt.
• VPN-Dienste: Obwohl keine Proxys im traditionellen Sinne, verschlüsseln VPNs den gesamten Datenverkehr und leiten ihn über einen sicheren Server, was starke Anonymität und Sicherheit für die allgemeine Internetnutzung bietet.
• Einen eigenen Proxy aufbauen: Die Bereitstellung eines Proxy-Servers auf einem Virtual Private Server (VPS) mit Software wie Squid, Nginx oder TinyProxy bietet volle Kontrolle über Sicherheit, Protokollierung und Leistung. Dies erfordert technisches Fachwissen.
• Proxy-Netzwerke/APIs: Dienste, die für spezifische Aufgaben wie Web Scraping entwickelt wurden und die Proxy-Rotation, CAPTCHA-Lösung und Browser-Fingerprinting automatisch verwalten.