用于 Booking 和 Airbnb 的代理

代理通过隐藏用户的真实 IP 地址、改用目标地理位置的 IP，使用户能够在 Booking.com、Airbnb 等平台上访问针对特定国家的价格。这一过程让客户可以模拟从不同地区浏览，从而看到通常受地域限制的本地价格、折扣和房源库存。

在线旅游平台中的地理定向

在线旅行社（OTA）以及 Booking.com、Airbnb 等住宿平台会使用地理定向机制，根据用户被识别出的地理位置展示不同的价格和库存。造成这种差异的因素有多个：
* 本地市场动态： 特定地区的需求、供给和竞争格局。
* 汇率： 价格通常以当地货币显示，换算结果可能有所不同。
* 税费： 地区税收、服务费和监管费用会改变最终价格。
* 促销活动： 定向折扣或特别优惠可能只面向特定国家或地区的用户开放。
* 供应商协议： 与房东或酒店集团签订的特定协议可能决定地区定价策略。
* 基于 IP 的跳转： 用户经常被重定向到特定国家的域名，或根据 IP 地址获得本地化内容。

要获取这些分散的数据，需要一套能够模拟来自不同地理位置请求的基础设施。

用于获取地域价格的代理类型

选择合适的代理类型，是持续、成功访问地理定向价格的关键。每种类型在匿名性、速度和成本上各有优劣。

住宅代理

住宅代理通过互联网服务提供商（ISP）分配给家庭用户的真实 IP 地址转发流量。
* 优点： 匿名性高；因看起来像正常用户流量，被检测率低；可定向到特定城市或地区。
* 缺点： 通常比数据中心代理慢，按 GB 或按 IP 计费的成本更高，并发连接数可能较少。
* 适用场景： 适合长期抓取、账号管理，以及任何需要高信任度、模拟真实用户行为的操作，尤其是 Booking.com 和 Airbnb 这类采用高级反机器人措施的敏感平台。

数据中心代理

数据中心代理来自托管在数据中心的服务器，而非住宅 ISP。
* 优点： 速度快、单个 IP 成本低、IP 池庞大、并发能力强。
* 缺点： IP 容易被识别为代理服务器，检测风险较高，可能被封禁。
* 适用场景： 适合初步探测、敏感度较低的数据采集，或需要大量请求且目标站点反机器人防护较弱的情况。由于封禁率较高，不太推荐用于持续访问 Booking/Airbnb。

移动代理

移动代理使用移动运营商分配给移动设备的 IP 地址。
* 优点： 信任度极高、检测率极低，因为移动 IP 通常被视为高度可信；在运营商 IP 池内可动态轮换。
* 缺点： 成本最高；相比住宅代理，地理颗粒度有限；受移动网络延迟影响速度较慢。
* 适用场景： 最适合需要最高匿名性和信任度的高敏感操作，或住宅代理不足以应对的场景。

ISP 代理

ISP 代理是被 ISP 归类为住宅的数据中心 IP。它们兼具数据中心代理的速度和住宅 IP 的可信外观。
* 优点： 速度快、匿名性好（通常被当作住宅 IP 对待）、IP 地址稳定。
* 缺点： 可能比标准数据中心代理更贵，地理定向选项可能有限。
* 适用场景： 在反机器人措施中等的平台上执行常规抓取任务的均衡选择。

代理类型对比

获取价格的技术实现

以编程方式访问地域价格，需要仔细配置代理设置、HTTP 头和会话管理。

代理配置

代理通常以 protocol://user:password@host:port 的 URL 格式指定。

import requests

# 代理信息
proxy_host = "your_proxy_host"
proxy_port = "your_proxy_port"
proxy_user = "your_proxy_username"
proxy_pass = "your_proxy_password"

proxies = {
    "http": f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
    "https": f"https://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}",
}

target_url = "https://www.booking.com/search.html?country=us&city=new-york" # 示例 URL

try:
    response = requests.get(target_url, proxies=proxies, timeout=10)
    response.raise_for_status() # HTTP 错误时抛出异常
    print(f"Status Code: {response.status_code}")
    # 继续处理 response.text
except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

在地理定向中，所选代理的 IP 地址决定了被识别出的来源。请确认代理服务商在目标国家提供 IP。

HTTP 头与会话管理

为了模拟正常浏览器行为并避免被检测，必须配置特定的 HTTP 头。
* User-Agent： 模拟常见浏览器（例如 Windows 上的 Chrome），并定期更换。
* Accept-Language： 设置为目标国家对应的语言（例如美国用 en-US,en;q=0.9，西班牙用 es-ES,es;q=0.9）。
* Referer： 填写合理的来源 URL。
* Cookie： 管理 cookie 以维持会话状态，这会影响价格或避免出现 CAPTCHA。使用 requests.Session() 对象来持久化处理 cookie。

import requests
import random

def get_random_user_agent():
    user_agents = [
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Edge/120.0.0.0 Safari/537.36",
        # 添加更多 User-Agent
    ]
    return random.choice(user_agents)

# 西班牙（ES）示例
target_url_es = "https://www.booking.com/search.html?country=es&city=madrid"
headers_es = {
    "User-Agent": get_random_user_agent(),
    "Accept-Language": "es-ES,es;q=0.9",
    "Referer": "https://www.booking.com/",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7"
}

with requests.Session() as session:
    session.proxies = proxies # 使用上面定义的代理
    session.headers.update(headers_es)

    try:
        response_es = session.get(target_url_es, timeout=15)
        response_es.raise_for_status()
        print(f"Spain (ES) Status Code: {response_es.status_code}")
        # 从 response_es.text 中解析价格
    except requests.exceptions.RequestException as e:
        print(f"Spain (ES) request failed: {e}")

应对动态内容与反机器人措施

Booking.com 和 Airbnb 大量使用 JavaScript 渲染内容，并部署了复杂的反机器人检测系统。
* JavaScript 渲染： 对高度依赖 JavaScript 的页面，通常需要将无头浏览器自动化框架（例如 Selenium、Playwright）与代理结合使用。这样可以模拟完整的浏览器环境，像真实用户一样执行 JavaScript。
* CAPTCHA： 遇到 CAPTCHA 说明已被检测。应对策略包括轮换代理、提升 IP 质量、限制请求频率，或接入 CAPTCHA 打码服务。
* 频率限制： 在请求之间加入延迟，模拟人类浏览节奏，避免触发频率限制。随机化延迟时间（time.sleep(random.uniform(2, 5))）比固定延迟更有效。
* IP 黑名单： 如果某个 IP 被封，就从代理池中换用未被封的新 IP。保持一个规模较大的高质量住宅或移动 IP 池。
* 浏览器指纹： 网站会分析各种浏览器参数（插件、屏幕分辨率、canvas 数据）来识别唯一用户或机器人。无头浏览器可配置为呈现一致且常见的指纹。

代理使用的最佳实践

在访问地理定向价格时，为了提高成功率并降低被检测的概率：
* 代理轮换： 制定稳健的代理轮换策略。大批量抓取时应频繁更换 IP（例如每几个请求或每个会话换一次）。对于持久会话，可降低轮换频率，但要随时准备在 IP 失效时切换。
* 地理精确度： 确认代理服务商提供细颗粒度的地理定向选项，能精确匹配所需的国家或城市。
* 模拟人类行为： 在请求之间加入随机延迟，变换浏览路径，并限制每个 IP 每个会话的请求数量。避免可预测的请求模式。
* Cookie 与会话管理： 使用持久会话（requests.Session() 或无头浏览器配置文件）来管理 cookie。这有助于保持状态，通常还能绕过初始的检测校验。
* User-Agent 多样性： 从一份涵盖多种正规浏览器和操作系统组合的列表中轮换 User-Agent 字符串。
* 监控代理健康度： 定期检查代理 IP 的连通性和匿名性。为失败的请求实现使用不同代理的重试逻辑。
* 错误处理： 针对 HTTP 状态码（例如 403 Forbidden、429 Too Many Requests）和网络问题实现完善的错误处理，以便对检测或服务限制做出恰当反应。
* 无头浏览器集成： 对于复杂、JavaScript 密集的站点，将代理与无头浏览器（例如 Playwright 或 Selenium）集成，以执行客户端代码并处理动态内容渲染。