Key Collector için proxy'ler: kurulum ve rotasyon

Key Collector, antibot mekanizmalarını tetiklemeden veya kalıcı IP yasakları almadan arama motoru verisi toplamak için sağlam bir proxy altyapısı gerektirir. Kaliteli proxy'ler, SEO uzmanlarının istek limitlerini aşmasına, captcha sayısını en aza indirmesine ve scraper'ın gerçek kimliğini gizleyerek aynı anda birden çok iş parçacığında geniş semantik çekirdekler toplamasına olanak tanır.

Semantik çekirdek toplamada proxy neden şart

Bir arama motorunun gözünden Key Collector agresif bir araçtır. Anahtar kelime önerisi, arama hacmi veya SERP konumu istediğinizde yazılım dakikada yüzlerce otomatik sorgu gönderir. Proxy olmadan, Yandex Wordstat veya Google Keyword Planner'ı parse etmeye çalışan tek bir IP adresi saniyeler içinde işaretlenir. Sonuç, "429 Too Many Requests" hatası ya da birkaç saatten haftalara kadar sürebilen kalıcı bir engeldir.

Proxy'ler ara katman görevi görür. Bu istekleri yüzlerce veya binlerce IP adresinden oluşan bir havuza dağıtarak hiçbir IP'nin arama motorunun belirlediği güvenlik eşiğini aşmamasını sağlarsınız. Bu, 7/24 parsing işlemlerine imkân verir ve Anti-Captcha ya da 2Captcha gibi otomatik captcha çözme hizmetlerinin maliyetini belirgin biçimde düşürür.

Profesyonel SEO görevlerinde proxy seçimi, verinin hızını ve doğruluğunu doğrudan etkiler. Ücretsiz proxy'ler genelde yeni başlayanlar tarafından kullanılır, ancak yüksek gecikme ve önceki kara liste kayıtları yüzünden çoğunlukla dakikalar içinde çöker. GProxy gibi profesyonel çözümler, büyük ölçekli kurumsal SEO projeleri için gereken kararlılığı sunar.

Key Collector için doğru proxy türünü seçmek

Her proxy aynı değildir. Kurulumunuzun etkinliği, IP adreslerinin kaynağına ve arama motorlarının onları nasıl algıladığına bağlıdır. Key Collector bağlamında değerlendirilecek üç ana kategori vardır:

1. Veri merkezi proxy'leri

Bunlar veri merkezlerinde (AWS, DigitalOcean vb.) barındırılan IP'lerdir. En hızlı ve en uygun fiyatlı seçenektir. Ancak bilinen sunucu aralıklarına ait oldukları için Google gibi arama motorları onları insan dışı trafik olarak kolayca tanır. En iyi kullanım alanı, daha az korumalı siteleri parse etmek ya da rotasyon için çok büyük bir havuza sahip olduğunuz durumlardır.

2. Residential proxy'ler

Residential proxy'ler, internet servis sağlayıcılarının (ISP) gerçek ev kullanıcılarına atadığı IP'lerdir. Key Collector için "altın standart" bunlardır. Trafik standart bir ev bağlantısından geliyormuş gibi göründüğü için arama motorlarının captcha çıkarma olasılığı çok daha düşüktür. GProxy'nin residential havuzunu kullanmak, Yandex ve Google'ı istek başına çok daha yüksek başarı oranıyla taramanızı sağlar.

3. Mobil proxy'ler

Mobil proxy'ler hücresel ağların (4G/5G) IP adreslerini kullanır. CGNAT nedeniyle binlerce meşru kullanıcı aynı mobil IP'yi paylaştığından bunları engellemek neredeyse imkânsızdır. Daha pahalı olsalar da, residential IP'lerin bile zorlanabildiği yüksek yoğunluklu parsing görevleri için en dayanıklı seçenektir.

Key Collector 4'te adım adım yapılandırma

Key Collector'ın son sürümünde proxy kurulumu basittir, ancak kimlik doğrulama ve biçim konusunda dikkat ister. GProxy bilgilerinizi entegre etmek için şu adımları izleyin:

1. Ayarları açın: Key Collector'ı başlatın ve üst araç çubuğundaki "Ayarlar" simgesine (dişli) tıklayın.
2. Proxy sekmesine gidin: "Ağ" bölümüne gidip "Proxy'ler" seçeneğini seçin.
3. Proxy ekleyin: "Ekle" düğmesine tıklayın. Tek tek veya toplu ekleyebilirsiniz. Standart biçim IP:Port:Login:Password şeklindedir. Örneğin: 192.168.1.1:8080:user123:pass456.
4. Servis atayın: Key Collector, belirli proxy'leri belirli görevlere atamanıza izin verir. IP itibarının çapraz bulaşmasını önlemek için bir havuzu yalnızca Yandex.Wordstat'a, başka bir havuzu Google SERP parsing'ine ayırabilirsiniz.
5. Proxy'leri kontrol edin: yerleşik "Proxy kontrolü" aracını kullanın. Kontrol için hedef servisi (örneğin Google) seçtiğinizden emin olun; bir proxy genel gezinmede çalışırken belirli bir arama motorunda engellenmiş olabilir.

GProxy kullanırken genellikle bir "Backconnect" giriş noktası alırsınız. Bu, her istekte veya belirlenen süre sonunda çıkış IP'nizi otomatik olarak değiştiren tek bir IP ve bağlantı noktasıdır. Bu durumda Key Collector'a tek bir satır girmeniz yeterlidir; rotasyon sunucu tarafında yürütülür.

Gelişmiş rotasyon ve yönetim stratejileri

Rotasyon, kalıp tespitini önlemek için IP adreslerini değiştirme sürecidir. Rotasyonu otomatik yürüten bir backconnect hizmeti kullanmıyorsanız, proxy listenizi Key Collector içinde elle yönetmeniz gerekir.

İş parçacığı yönetimi

Sık yapılan bir hata, iş parçacığı sayısını mevcut proxy sayısından yüksek ayarlamaktır. 10 proxy'niz varsa ve Key Collector'ı 50 iş parçacığına ayarlarsanız, birden fazla iş parçacığı aynı IP'yi eşzamanlı kullanır ve bu da anında yasaklara yol açar. Residential IP'lerde 1:1 veya 1:2 oranını (proxy / iş parçacığı) koruyun; veri merkezi IP'lerinde daha yüksek bir oran kullanılabilir.

Sağlık kontrollerini otomatikleştirme

Büyük bir parsing işine başlamadan önce, ölü bağlantılarla vakit kaybetmemek için proxy havuzunuzu bir betikle doğrulamak verimlidir. Aşağıda, bir proxy listesini Key Collector'a aktarmadan önce bir arama motoru uç noktasına karşı doğrulayan Python örneği yer alıyor.

import requests

def check_proxy(proxy_str):
    proxy_parts = proxy_str.split(':')
    proxies = {
        "http": f"http://{proxy_parts[2]}:{proxy_parts[3]}@{proxy_parts[0]}:{proxy_parts[1]}",
        "https": f"http://{proxy_parts[2]}:{proxy_parts[3]}@{proxy_parts[0]}:{proxy_parts[1]}",
    }
    try:
        # Bağlantıyı denetlemek için Google'ın favicon'una karşı test
        response = requests.get("https://www.google.com/favicon.ico", proxies=proxies, timeout=5)
        if response.status_code == 200:
            return True
    except:
        return False
    return False

# GProxy biçimiyle örnek kullanım
proxy_list = ["ip:port:user:pass", "ip2:port2:user2:pass2"]
valid_proxies = [p for p in proxy_list if check_proxy(p)]
print(f"Valid proxies: {len(valid_proxies)} out of {len(proxy_list)}")

Yandex ve Google için ayarları optimize etmek

Her arama motorunun tolerans düzeyi farklıdır. Yandex, tek bir IP'den gelen istek sıklığına özellikle duyarlıdır. Key Collector'ı Yandex.Wordstat için yapılandırırken proxy başına en az 3-5 saniyelik bir "İstekler arası gecikme" ayarlayın. GProxy residential IP'lerini kullanıyorsanız bu gecikmeyi çoğu zaman düşürebilirsiniz, ancak agresif parsing yine de büyük bir IP havuzu gerektirir.

Google'da asıl zorluk "reCAPTCHA v3" puanıdır. Google, IP'nin "temizliğini" izler. Veri merkezi proxy'leri kullanırsanız bitmeyen captcha'larla karşılaşırsınız. GProxy'nin residential proxy'leri daha yüksek bir güven puanı sağlar ve Key Collector'ın veriyi daha az kesintiyle, daha akıcı çekmesine imkân verir. IP adreslerinizin çeşitliliğiyle uyumlu olması için Key Collector ayarlarında "User-Agent" rotasyonunu da etkinleştirin.

• HTTPS kullanın: Key Collector ile proxy sunucusu arasındaki trafiği şifrelemek için her zaman HTTPS proxy'leri tercih edin.
• Zaman aşımı ayarları: 15-30 saniyelik bir zaman aşımı belirleyin. Genel parsing hızını korumak için yavaş proxy'ler hızla elenmelidir.
• Keep-Alive: proxy sağlayıcınız destekliyorsa "Keep-Alive" özelliğini açın; her istek için yeni TCP bağlantısı kurma yükünü azaltır.

Sık görülen hatalar ve çözümleri

Premium bir kurulumda bile hatalar olabilir. Key Collector günlüğündeki HTTP durum kodlarını anlamak, sorun gidermek için hayati önemdedir:

403 Forbidden: genellikle IP'nin hedef sitenin güvenlik duvarı tarafından tamamen engellendiği anlamına gelir. Veri merkezi IP'lerinde sık görülür. Çözmek için GProxy residential IP'lerine geçin.

407 Proxy Authentication Required: kimlik bilgileriniz (kullanıcı adı/parola) yanlıştır ya da IP'niz proxy sağlayıcının panelinde beyaz listeye alınmamıştır.

429 Too Many Requests: istek limitini aşıyorsunuz. İstekler arası gecikmeyi artırın veya proxy havuzunuzu genişletin.

Parsing hızlı başlayıp 10 dakika sonra belirgin biçimde yavaşlıyorsa, proxy'leriniz muhtemelen kısıtlanıyordur. Bu, daha sık rotasyona ya da daha büyük bir IP havuzuna ihtiyacınız olduğunun işaretidir. GProxy'nin dinamik rotasyon özelliği, mevcut IP'ler eşiğe ulaşmadan taze IP'ler sağlayarak tam da bu "cooldown" etkisiyle mücadele etmek için tasarlanmıştır.

Öne çıkanlar

Key Collector'da proxy yönetimini iyi bilmek, iki saat süren bir projeyle iki gün süren bir proje arasındaki farktır. Kaliteli residential veya mobil proxy'ler kullanarak hesaplarınızın ömrünü ve SEO verinizin doğruluğunu güvence altına alırsınız.

• Residential IP'lere öncelik verin: arama motoru parsing'i için residential proxy'ler (örneğin GProxy'nin sunduğu proxy'ler) maliyet ile başarı oranı arasında en iyi dengeyi verir.
• İş parçacığı sayısını proxy sayısıyla eşleştirin: hızlı kara listeye düşmemek için benzersiz IP sayınızdan fazla iş parçacığı çalıştırmayın.
• Pratik ipucu 1: göreve başlamadan önce proxy'lerinizi Key Collector içinde ilgili servise (Google, Yandex vb.) karşı mutlaka test edin; genel "bağlantı testleri" yanıltıcı olabilir.
• Pratik ipucu 2: kurulumu basitleştirmek için backconnect proxy kullanın; rotasyon mantığını sunucu tarafında yürütür ve yazılım içindeki yönetim yükünü azaltır.
• Pratik ipucu 3: User-Agent listenizi güncel tutun. Modern bir IP adresiyle eski bir tarayıcı dizesi kullanmak, arama motorlarının botları tanımak için kullandığı bir izdir.