Alt ağlarla çalışmak: proxy kullanıcıları için ileri düzey teknikler

Alt ağlarla çalışmak, ilişkili adres kümelerini işaretleyen gelişmiş anti-bot tespit sistemlerini aşmak için proxy trafiğini farklı IP aralıklarına stratejik biçimde dağıtmak demektir. Bir kazıma veya otomasyon projesinde kullanılan CIDR bloklarını ve Autonomous System Number'ları (ASN) çeşitlendirerek, tek bir IP'nin başarısızlığının tüm ağ segmentinin kara listeye alınmasına yol açtığı "komşu banları" önlenebilir. Alt ağ mimarisine hâkim olmak, kritik veri çıkarma ortamlarında daha yüksek başarı oranı ve daha uzun ömürlü oturumlar sağlar.

Proxy altyapısı için subnetting temelleri

Proxy'leri ölçekli ve etkili kullanmak için Internet Protocol (IP) hiyerarşilerini teknik olarak anlamak zorunludur. Bir IP adresi izole bir kimlik değildir; Classless Inter-Domain Routing (CIDR) ile yönetilen yapılandırılmış bir ağın parçasıdır. Proxy kullanıcıları için en kritik kavram, ağ bloğunun boyutunu tanımlayan alt ağ maskesidir. GProxy gibi bir sağlayıcı IP atadığında, bu adresler /24 veya /16 gibi belirli bloklardan gelir.

Bir /24 alt ağı 256 IP adresi içerir (254'ü kullanılabilir). Bir hedef site aynı /24 aralığındaki 10 farklı IP'den şüpheli etkinlik tespit ederse, güvenlik duvarı tüm aralığın ele geçirildiği veya tek bir bot çiftliğine ait olduğu sonucuna varabilir. Bu, o bloktaki her IP'nin — daha önce hiç kullanılmamış olsa bile — önleyici olarak engellendiği bir "alt ağ banı"na yol açar. İleri düzey kullanıcılar bunu, proxy havuzlarının farklı /16 veya /8 ağlarına yayılmış birden çok /24 bloğunu kapsamasını sağlayarak azaltır.

Aşağıdaki tablo, proxy ayak izinizin yoğunluğunu hesaplamak için hayati olan CIDR gösterimi ile kullanılabilir IP adresi sayısı arasındaki ilişkiyi gösteriyor:

Proxy seçerken amaç, IP'ler arasındaki "mesafeyi" en üst düzeye çıkarmaktır. 1.000 eşzamanlı iş parçacığı çalıştırıyorsanız, bunları 100 farklı /24 alt ağına dağıtmak, 4 farklı /24 alt ağında çalıştırmaktan çok daha güvenlidir. Bu mimari mesafe, anti-bot algoritmalarının isteklerinizi tek bir koordineli saldırının parçası olarak ilişkilendirmesini matematiksel olarak zorlaştırır.

Anti-bot sistemlerinin mantığı ve "komşu banları"

Akamai, Cloudflare ve DataDome gibi modern Web Application Firewall'lar (WAF) yalnızca tekil IP itibarına bakmaz. Etkinlik kümelerini belirlemek için istatistiksel analiz kullanırlar. Bir /24 alt ağı normalde insan kullanıcılardan saatte 500 istek alıyorsa ve aniden saatte 50.000 isteğe fırlarsa, WAF tüm aralığı işaretler. Buna "komşu etkisi" denir.

Komşu banı riski en çok veri merkezi ortamlarında yüksektir. Veri merkezi IP'leri genellikle bitişik bloklar hâlinde atandığından sınıflandırılmaları kolaydır. Buna karşılık GProxy'nin sunduğu residential IP'ler, farklı ISP'lerdeki ve coğrafi konumlardaki ev yönlendiricilerine atandıkları için doğal olarak dağınıktır. Yine de, residential proxy'lerde bile ileri düzey kullanıcılar tek bir sağlayıcının altyapısından hedefe yüklenmediklerinden emin olmak için ASN'i (Autonomous System Number) izlemelidir.

Buna karşı bir "Alt Ağ Çeşitlilik Oranı" uygulamalısınız. Bu metrik, benzersiz /24 alt ağlarının sayısının aktif rotasyonunuzdaki toplam IP sayısına bölünmesiyle hesaplanır. 1.0'a yakın bir oran yüksek çeşitliliği, 0.01'e yakın bir oran ise yüksek riski gösterir. Tier-1 e-ticaret sitelerinin yüksek hızlı kazınmasında en az 0.5'lik bir çeşitlilik oranı önerilir.

Alt ağ örtüşmesini tespit etmek

Bir kampanyayı başlatmadan önce proxy listenizi denetlemek yerinde olur. Birçok kullanıcı IP'ler farklı göründüğü için farklı ağlarda olduklarını sanır. Örneğin 192.168.1.5 ile 192.168.1.200 farklı görünür ama aynı /24 alt ağına aittir. Proxy listenizi ayrıştırıp ağ önekine göre gruplayan otomatik betikler kullanarak ban tetikleyebilecek kümeleri belirleyin.

İleri düzey ASN ve ISP hedefleme stratejileri

Alt ağların ötesinde, Autonomous System Number (ASN) daha geniş bir ağ kimliği katmanı sunar. ASN, Comcast, AT&T veya AWS gibi bir veri merkezi sağlayıcısı gibi tek bir kuruluşun denetimindeki IP yönlendirme öneklerinin bütünüdür. Üst düzey proxy kullanıcıları ASN çeşitliliğine öncelik verir; çünkü bazı siteler düşük kaliteli trafikle veya bilinen VPN sağlayıcılarıyla ilişkili ASN'lerin tamamını engeller.

GProxy kullanırken çoğu zaman ISP'ye göre filtreleyebilirsiniz; bu da ASN profilinizi doğal olarak çeşitlendirir. Örneğin residential bir ASN (ör. Comcast için AS7922) ile mobil bir ASN (ör. Sprint için AS10507) arasında dönüşümlü çalışmak, WAF'ların gerçek müşterilerde büyük yanlış pozitifler riskine girmeden filtrelemesi neredeyse imkânsız bir meşruiyet düzeyi sağlar. Bu, platform güvenliğinin mobil ağ davranış desenlerini tanımaya ayarlandığı sosyal medya otomasyonunda özellikle etkilidir.

Stratejik ASN rotasyonu şunları içerir:

• Residential ve mobili karıştırmak: mobil IP'ler (4G/5G) çoğu zaman tek bir genel IP'yi binlerce kullanıcıyla paylaşır (CGNAT). WAF'lar bu IP'leri veya alt ağlarını engellemekte çok isteksizdir, çünkü gerçek kullanıcılara verilecek dolaylı zarar çok büyüktür.
• "Ucuz" veri merkezlerinden kaçınmak: birçok kazıyıcı ucuz VPS sağlayıcıları kullanır. Bu ASN'ler çoğu zaman kaydedildikleri anda işaretlenir. GProxy'nin yüksek kaliteli veri merkezi katmanları, kurumsal filtreler tarafından sıkça beyaz listeye alınan "temiz" ASN'leri kullanır.
• Coğrafi subnetting: alt ağları farklı şehirlere veya bölgelere dağıtmak, yerel hız sınırlamalarını önler. Hedef site New York'tan gelen istekleri kısıtlıyorsa, Chicago ve Los Angeles'ta alt ağlara sahip olmak sürekliliği sağlar.

Teknik uygulama: alt ağ farkındalıklı bir rotator kurmak

Alt ağ yönetiminde gerçekten ustalaşmak için, kazıma yığınınıza aynı alt ağdan IP'lerin art arda kullanılmasını engelleyen bir mantık ekleyin. Bu, basit rastgele rotasyondan daha etkilidir. Alt ağ farkındalıklı bir rotator, o bloktan bir IP kullanıldığında tüm /24 bloğu için bir "soğuma" süresi tutar.

Aşağıdaki Python örneği, proxy'leri alt ağa göre sınıflandırmak ve kazıyıcınızın her istek için çeşitli bir havuzdan seçim yapmasını sağlamak üzere ipaddress kütüphanesinin nasıl kullanılacağını gösteriyor.

import ipaddress
import random

class SubnetAwareRotator:
    def __init__(self, proxy_list):
        self.proxies = proxy_list
        self.subnets = {}
        self._organize_by_subnet()

    def _organize_by_subnet(self):
        for proxy in self.proxies:
            # Proxy dizesinden IP'yi çıkar ('ip:port' veya 'user:pass@ip:port' biçimi)
            ip_str = proxy.split('@')[-1].split(':')[0]
            network = ipaddress.ip_network(f"{ip_str}/24", strict=False)

            if network not in self.subnets:
                self.subnets[network] = []
            self.subnets[network].append(proxy)

    def get_diverse_batch(self, batch_size):
        if batch_size > len(self.subnets):
            print("Warning: Batch size exceeds unique /24 subnets. Overlap will occur.")

        selected_subnets = random.sample(list(self.subnets.keys()), min(batch_size, len(self.subnets)))
        return [random.choice(self.subnets[net]) for net in selected_subnets]

# Kullanım örneği
my_proxies = [
    "192.168.1.1:8080", "192.168.1.2:8080",
    "10.0.0.5:8080", "10.0.0.10:8080",
    "172.16.0.1:8080", "172.16.0.22:8080"
]

rotator = SubnetAwareRotator(my_proxies)
batch = rotator.get_diverse_batch(3)
print(f"Selected diverse proxies: {batch}")

Bu mantığı kullanarak, eşzamanlı bir partideki her isteğin farklı bir ağ segmentinden geldiğini garantilersiniz. Bu, "komşu banı" riskini fiilen etkisiz kılar; çünkü WAF tek bir kaynaktan gelen yoğun bir patlama yerine internet topolojisine yayılmış bir desen görür.

IPv6 subnetting: yeni sınır

IPv4 hâlâ standart olsa da, devasa adres alanı sayesinde IPv6 proxy çevrelerinde giderek yaygınlaşıyor. IPv4'te /24 yaygın bir engelleme birimidir. IPv6'da eşdeğer birim genellikle /48 veya /64'tür. Tek bir /48 alt ağı 65.536 adet /64 alt ağı içerir ve her /64, 18 kentilyon adres barındırır.

Ancak IPv6 adreslerinin bolluğu iki ucu keskin bir bıçaktır. Tam da çok bol oldukları için, anti-bot sistemleri IPv6 alt ağ banlarında çok daha saldırgandır. Bir sitenin bot etkinliği tespit ettiğinde tüm bir /64'ü hatta /48'i engellemesi hiç de nadir değildir. IPv6 proxy'lerle çalışırken strateji, tekil IP rotasyonundan alt ağ atlamaya kayar. GProxy'den IPv6 proxy kullanıyorsanız, uygulamanızın bir /64 bloğunu aynı blok içindeki milyonlarca IP'yi kullanmaya çalışmak yerine tek bir varlık gibi ele almasını sağlayın.

IPv6'nın pratik avantajı maliyet verimliliğidir. IPv4'ün maliyetinin çok küçük bir kısmına devasa bir aralık edinebilirsiniz. Kilit nokta, sağlayıcının "bitişik olmayan" IPv6 blokları sunmasıdır. Tüm IPv6 adresleriniz aynı /64 içindeyse, çoğu modern güvenlik duvarının gözünde bunlar fiilen tek bir IP'dir.

Alt ağ sağlığını ve performansını izlemek

İleri düzey proxy yönetimi bir geri bildirim döngüsü gerektirir. Başarı oranını (HTTP 200'e karşı 403/429) yalnızca IP başına değil, alt ağ ve ASN başına da izlemelisiniz. 45.128.x.x içindeki tüm IP'lerin 403 Forbidden döndürdüğünü fark ederseniz, havuzunuzun geri kalanı zarar görmeden önce o alt ağın tamamını yerel yöneticinizde proaktif olarak kara listeye alabilirsiniz.

Bu izleme şunları kapsamalıdır:

1. Alt ağ başına gecikme: bazen belirli ağ yolları tıkanır. Gecikmeyi izlemek, yüksek öncelikli görevleri daha hızlı alt ağlardan yönlendirmenizi sağlar.
2. TTL (Time to Live) analizi: bir alt ağ boyunca atlama sayısı veya TTL değerleri belirgin şekilde değişiyorsa, bu sağlayıcının şeffaf bir proxy ya da aracı kullandığına işaret edebilir; bu da fingerprinting riski demektir.
3. Fingerprint tutarlılığı: bir alt ağdaki IP'lerin TCP/IP parmak izinin beklenen işletim sistemiyle eşleştiğinden emin olun. Residential olması gereken (Windows/macOS) bir alt ağ Linux çekirdeği parmak izi gösteriyorsa, gelişmiş WAF'lar tarafından işaretlenecektir.

GProxy bu metrikleri gerçek zamanlı görüntülemek için araçlar sunar; böylece kullanıcılar iş akışlarını kesintiye uğratmadan zayıf performans gösteren alt ağları değiştirebilir. Bu düzeyde ayrıntılı kontrol, profesyonel veri madencilerini amatörlerden ayıran şeydir.

Önemli çıkarımlar

Alt ağlarda ustalaşmak, sadece "proxy kullanmak"tan "ağ altyapısı yönetmek"e geçiştir. IP hiyerarşisini anladığınızda, organik küresel trafikten neredeyse ayırt edilemeyen kazıyıcılar kurabilirsiniz. Odak her zaman IP kaynaklarınız arasındaki mesafeyi en üst düzeye çıkarmak ve ait oldukları daha büyük blokların itibarını izlemek olmalıdır.

• IP'nin ötesinde çeşitlendirin: proxy havuzunuzun /24 ve /16 öneklerini her zaman kontrol edin. Bu aralıklardaki yüksek çeşitlilik, otomatik güvenlik duvarlarına karşı en iyi savunmadır.
• ASN çeşitliliğinden yararlanın: veri merkezi aralıklarına uygulanan katı filtrelemeyi aşmak için residential ve mobil ASN karışımı kullanın.
• Alt ağ farkındalıklı mantık uygulayın: kazıyıcınızın bir hedefe aynı anda aynı alt ağdan birden çok IP ile gitmemesini sağlayacak betikler kullanın.

Bu ileri düzey teknikleri hayata geçirmek isteyenler için GProxy, dünya genelinde binlerce alt ağ ve ASN'e yayılan çeşitli residential, mobil ve veri merkezi proxy envanteri sunuyor. Bu altyapı, en saldırgan anti-bot önlemlerine dayanabilecek dayanıklı ve yüksek performanslı bir otomasyon yığını kurmak için gereken ham malzemeyi sağlar.