SEO Sıralama Takibi için Proxy'ler

Proxy'ler, SEO sıralama takibinde arama motorlarının uyguladığı IP tabanlı istek limitlerini ve coğrafi kısıtlamaları aşmak için zorunludur; böylece farklı hedef konumlar ve anahtar kelimeler için arama sonuç sayfalarının (SERP) doğru ve tutarlı biçimde alınması sağlanır. Arama motoru sıralamalarının otomatik izlenmesi, arama motorlarına çok sayıda istek göndermeyi gerektirir; bu davranış, kötüye kullanımı önlemek ve hizmet kalitesini korumak için arama motorlarınca aktif olarak tespit edilip engellenir.

SERP scraping için proxy'ler neden gerekli

Arama motorları, özellikle de Google, gelişmiş bot karşıtı mekanizmalar kullanır. Bu sistemler; IP adresi, User-Agent dizesi, istek sıklığı ve diğer HTTP başlık verileri dahil olmak üzere istek örüntülerini analiz eder. Tek bir IP adresi kısa sürede yüksek hacimde istek gönderdiğinde veya insan dışı gezinme örüntüleri sergilediğinde işaretlenir. Sonuçlar, CAPTCHA doğrulamalarından geçici ya da kalıcı IP yasaklarına kadar uzanır ve eksik veya hatalı sıralama verisine yol açar.

Proxy'ler aracı görevi görerek istekleri farklı IP adresleri üzerinden yönlendirir. İstekleri geniş ve çeşitli bir IP havuzuna dağıtarak sıralama takip yazılımı bu tespit mekanizmalarını aşabilir. Bu şunları mümkün kılar:

• İstek limitlerini aşma: tek bir IP'nin arama motoru sorgu eşiklerini aşmasını önler.
• Coğrafi hedefli sonuçlar: ilgili bölgelerde bulunan proxy'ler kullanılarak SERP'lerin belirli coğrafi konumlardaki (ülke, eyalet, şehir) kullanıcılara göründüğü haliyle alınması.
• Anonimliği koruma: scraping işleminin kaynak IP adresinin gizlenmesi.
• Ölçeklendirme: kesintisiz biçimde büyük ölçekli veri toplama.

Sıralama takibi için proxy türleri

Proxy'lerin etkinliği ve maliyeti, kaynaklarına ve altyapılarına göre önemli ölçüde değişir. Doğru proxy türünü seçmek, başarılı ve maliyet açısından verimli bir sıralama takibi için kritiktir.

Veri merkezi proxy'leri

Bu proxy'ler ticari veri merkezlerinde barındırılır ve internet servis sağlayıcılarıyla (ISP) veya gerçek ev kullanıcılarıyla ilişkili değildir.

• Özellikler: yüksek hız, düşük maliyet, hazırda geniş IP havuzları.
• Avantajlar: tespit riskinin daha düşük olduğu, hız açısından kritik ve yüksek hacimli scraping işlerinde ekonomiktir.
• Dezavantajlar: tanınabilir alt ağ aralıkları nedeniyle gelişmiş bot karşıtı sistemlerce daha kolay tespit edilir. Arama motorları tarafından sıklıkla "insan dışı" trafik olarak işaretlenir. Yoğun rotasyon ve gizlenme teknikleri olmadan, Google SERP scraping gibi çok hassas hedefler için daha az etkilidir.

Residential proxy'ler

Residential proxy'ler ISP'lerin gerçek ev kullanıcılarına atadığı IP adreslerini kullanır. Bu proxy'ler üzerinden yönlendirilen istekler, gerçek bir ev internet bağlantısından geliyormuş gibi görünür.

• Özellikler: yüksek güven seviyesi, tespiti zor, şehir hatta ISP düzeyinde coğrafi hedefleme.
• Avantajlar: meşru görünümleri sayesinde SERP scraping için oldukça etkilidir. Veri merkezi proxy'lerine kıyasla daha düşük yasaklanma oranı.
• Dezavantajlar: GB veya IP başına daha yüksek maliyet, genel olarak veri merkezi proxy'lerinden daha düşük hız. Sağlayıcıya bağlı olarak IP havuzları daha küçük veya daha az kararlı olabilir.

Mobil proxy'ler

Mobil proxy'ler, mobil şebeke operatörlerinin mobil cihazlara (akıllı telefon, tablet) atadığı IP adreslerinden yararlanır. Bu IP'ler çoğu zaman dinamiktir ve birçok kullanıcı arasında paylaşılır; bu da onları son derece meşru gösterir.

• Özellikler: en yüksek güven seviyesi, tespiti son derece zor, dinamik IP değişimleri yaygındır.
• Avantajlar: azami anonimlik ve meşruiyet gerektiren çok hassas scraping görevleri için en iyisidir. Agresif bot karşıtı önlemleri olan hedefler için idealdir.
• Dezavantajlar: en yüksek maliyet, genel olarak daha düşük hız ve residential ya da veri merkezi seçeneklerine kıyasla daha küçük IP havuzları.

Proxy türlerinin karşılaştırması

Sıralama takibi uygulamasında kilit proxy özellikleri

Etkili sıralama takibi yalnızca proxy erişiminden ibaret değildir; proxy hizmetlerinin sunduğu belirli özellikler kritik önemdedir.

IP rotasyonu

IP adreslerinin otomatik rotasyonu temel gerekliliktir. Tüm isteklerde tek bir IP kullanmak yerine sistem bir IP havuzu üzerinde döner. Bu, istek yükünü dağıtır ve arama motorlarının tek bir kaynağı tespit edip engellemesini zorlaştırır. Rotasyon; her istekte, belirli bir zaman aralığında veya bir engelleme tespit edildiğinde yapılacak şekilde yapılandırılabilir.

Coğrafi hedefleme

Yerel SEO için, belirli coğrafi konumlara ait SERP'leri almak son derece önemlidir. Coğrafi hedefleme, isteklerin belirli bir ülke, eyalet, şehir ve hatta belirli bir ASN (Autonomous System Number) veya ISP içindeki IP'lerden çıkmasını sağlar. Böylece alınan arama sonuçları, o konumdaki bir kullanıcının göreceği sonuçları doğru biçimde yansıtır.

Oturum yönetimi

Bazı sıralama takip görevleri, bir kullanıcı oturumunu taklit etmek için kısa süreliğine aynı IP adresinin korunmasını gerektirebilir (örneğin sayfalanmış sonuçlar arasında gezinirken).

• Rotasyonlu oturumlar: her istek yeni ve rastgele bir IP kullanır. Genel, yüksek hacimli anahtar kelime kontrolleri için uygundur.
• Sticky oturumlar: bir IP belirli bir süre için atanır (örneğin 5–30 dakika) ve birden fazla isteğin aynı IP'yi kullanmasına izin verir. Çok adımlı veri çıkarımında veya aynı IP'den gelen istek dizisinin daha doğal göründüğü durumlarda kullanışlıdır.

Hız ve gecikme

Proxy yanıtlarının hızı, sıralama takibinin verimliliğini doğrudan etkiler. Yüksek gecikmeli proxy'ler tüm scraping sürecini yavaşlatır ve çok sayıda anahtar kelime için veri toplama süresini uzatır. Sağlayıcılar genellikle ortalama yanıt süresi metriklerini yayımlar.

Anonimlik seviyeleri

Proxy'ler farklı anonimlik seviyeleri sunabilir:

• Şeffaf proxy'ler: istemcinin IP adresini hedef sunucuya iletir. Sıralama takibi için uygun değildir.
• Anonim proxy'ler: istemcinin IP'sini gizler ancak kendilerini proxy olarak tanıtır. Daha iyidir, yine de tespit edilebilir.
• Elite proxy'ler: istemcinin IP'sini gizler ve kendilerini proxy olarak tanıtmaz; sıradan bir kullanıcı gibi görünürler. SERP scraping için tercih edilen seviye budur.

Proxy tabanlı sıralama takibi için en iyi uygulamalar

Proxy'leri etkili biçimde kullanmak, salt IP rotasyonunun ötesinde ayrıntılara dikkat etmeyi gerektirir.

User-Agent rotasyonu

Arama motorları, tarayıcıyı ve işletim sistemini belirlemek için HTTP başlıklarındaki User-Agent dizesini analiz eder. IP'ler dönse bile çok sayıda istekte sabit ya da güncel olmayan bir User-Agent kullanmak bir tespit vektörü olabilir. User-Agent dizelerini yaygın ve güncel tarayıcı dizelerinden oluşan bir havuzdan rastgele seçerek döndürün (örneğin Windows, macOS, Linux üzerinde Chrome, Firefox, Safari).

Gerçekçi istek başlıkları

User-Agent dışında, meşru tarayıcı davranışını taklit etmek için diğer standart HTTP başlıklarını da ekleyin. Buna Accept-Language, Accept-Encoding, Referer (varsa) ve Connection dahildir. Uygun olduğu yerde bu parametreleri değiştirin.

İstek kısıtlama ve gecikmeler

IP rotasyonu olsa bile agresif istek hızları bot karşıtı önlemleri tetikleyebilir. İnsan gezinme örüntülerini taklit etmek için istekler arasına rastgele gecikmeler koyun (örneğin 5–15 saniye). Öngörülebilir, sabit gecikmelerden kaçının.

Hata yönetimi ve yeniden deneme mantığı

Engellemeye işaret eden yaygın arama motoru yanıtlarını öngörün ve ele alın:
* HTTP 429 (Too Many Requests): hız sınırlamasını gösterir. Artan gecikmelerle bir back-off stratejisi veya IP rotasyonu uygulayın.
* CAPTCHA doğrulamaları: HTML yanıtı bir CAPTCHA içeriyorsa istek işaretlenmiş demektir. Bu genellikle yeni bir IP ve/veya daha uzun bir gecikme gerektirir.
* Boş veya bozuk yanıtlar: yumuşak bir engellemeye (soft block) ya da proxy ile ilgili bir soruna işaret edebilir.

Proxy sağlayıcısı seçimi

Şunları sunan güvenilir bir proxy sağlayıcısı seçin:
* Geniş ve çeşitli IP havuzu: halihazırda engellenmiş IP'lere denk gelme olasılığını azaltır.
* Ayrıntılı coğrafi hedefleme: yerel SEO için şarttır.
* Güvenilir çalışma süresi: veri toplamadaki kesintileri en aza indirir.
* Ölçeklenebilir bant genişliği/IP: büyüyen takip ihtiyaçlarını karşılamak için.
* Hızlı yanıt veren destek: bağlantı veya performans sorunlarını gidermek için.

Kod örneği: Requests ile Python

Aşağıdaki Python örneği, bir proxy üzerinden nasıl istek yapılacağını, User-Agent rotasyonunun nasıl uygulanacağını ve Google için temel coğrafi hedefleme parametrelerinin nasıl kullanılacağını gösterir.

import requests
import random
import time

# Rotasyonlu residential proxy hizmeti için proxy yapılandırması
# Kendi proxy sağlayıcınızın bilgileriyle değiştirin
PROXY_HOST = "us.residential.proxyprovider.com" # Örnek: coğrafi hedefli bir endpoint
PROXY_PORT = 12345
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

proxies = {
    "http": f"http://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
    "https": f"https://{PROXY_USER}:{PROXY_PASS}@{PROXY_HOST}:{PROXY_PORT}",
}

# Rotasyon için yaygın User-Agent dizeleri
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.3 Safari/605.1.15",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.84 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:99.0) Gecko/20100101 Firefox/99.0",
]

def get_serp_results(keyword: str, geo_target: dict = None) -> str | None:
    """
    Verilen anahtar kelime ve isteğe bağlı coğrafi hedef için Google SERP HTML'ini alır.

    :param keyword: Arama sorgusu.
    :param geo_target: 'country' (örn. 'US'), 'language' (örn. 'en') ve isteğe bağlı olarak
                       'uule' (Google'ın kodlanmış konumu) içeren sözlük.
                       Not: 'uule' üretimi karmaşıktır ve genellikle özel araçlarla yapılır.
    :return: SERP'in HTML içeriği veya hata durumunda None.
    """
    search_url = f"https://www.google.com/search?q={keyword.replace(' ', '+')}"

    # Google için coğrafi hedefleme parametrelerini uygula
    if geo_target:
        search_url += f"&gl={geo_target.get('country', 'US')}" # Ülke kodu
        search_url += f"&hl={geo_target.get('language', 'en')}" # Arayüz dili
        if 'uule' in geo_target:
            # Çok belirli coğrafi hedefleme için uule parametresi kritiktir.
            # New York için örnek uule: W3sidHlwZSI6ImFyZWEiLCJjb29yZGluYXRlcyI6W1s0MC43MTI3NzYsLTc0LjAwNTk3NC1dXX0=
            search_url += f"&uule={geo_target['uule']}"

    headers = {
        "User-Agent": random.choice(USER_AGENTS),
        "Accept-Language": f"{geo_target.get('language', 'en')}-{geo_target.get('country', 'US')}" if geo_target else "en-US",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8",
        "Connection": "keep-alive"
    }

    try:
        response = requests.get(search_url, proxies=proxies, headers=headers, timeout=45)
        response.raise_for_status() # Hatalı yanıtlarda (4xx veya 5xx) HTTPError fırlatır

        # CAPTCHA varlığını kontrol et (basitleştirilmiş kontrol)
        if "captcha" in response.text.lower() or "did not match any documents" in response.text.lower():
            print(f"CAPTCHA or no results detected for '{keyword}'. Requires new IP or increased delay.")
            return None

        print(f"Successfully retrieved SERP for '{keyword}' via {PROXY_HOST}:{PROXY_PORT}")
        return response.text

    except requests.exceptions.HTTPError as e:
        print(f"HTTP Error retrieving SERP for '{keyword}': {e}. Status Code: {e.response.status_code}")
        if e.response.status_code == 429:
            print("Likely rate-limited. Implement back-off or IP rotation.")
        return None
    except requests.exceptions.RequestException as e:
        print(f"Network or request error for '{keyword}': {e}")
        return None

if __name__ == "__main__":
    keywords_to_track = [
        "best seo tools", 
        "coffee shops near me",
        "weather in london"
    ]

    # Örnek coğrafi hedefler
    nyc_geo = {"country": "US", "language": "en", "uule": "w+CAIQICItTmV3IFlvcms,IE5ldyBZb3JrLCBVbml0ZWQgU3RhdGVz"} # New York, NY, ABD için uule
    london_geo = {"country": "GB", "language": "en", "uule": "w+CAIQICItTG9uZG9uLCBHcmVhdCBCcml0YWlu"} # Londra, Birleşik Krallık için uule

    for keyword in keywords_to_track:
        print(f"\n--- Tracking: {keyword} ---")
        current_geo = None
        if "coffee shops" in keyword.lower():
            current_geo = nyc_geo
            print(f"Applying geo-target: New York, US")
        elif "london" in keyword.lower():
            current_geo = london_geo
            print(f"Applying geo-target: London, GB")

        serp_html = get_serp_results(keyword, geo_target=current_geo)

        if serp_html:
            # Üretim sisteminde sıralama verisini çıkarmak için serp_html'i burada ayrıştırın.
            # Örnek: print(serp_html[:500]) # Doğrulama için ilk 500 karakteri yazdırır
            print("SERP HTML retrieved (first 500 chars):")
            print(serp_html[:500] + "...")
        else:
            print("Failed to retrieve SERP.")

        # İnsan davranışını taklit etmek için istekler arasında rastgele gecikmeler uygulayın
        delay = random.uniform(8, 20) # 8 ile 20 saniye arasında rastgele gecikme
        print(f"Waiting for {delay:.2f} seconds before next request...")
        time.sleep(delay)