用于 WHOIS 查询的代理

批量 WHOIS 查询必须使用代理，以规避速率限制和 IP 封锁，在不中断服务的情况下高效获取大量域名注册数据。

批量 WHOIS 查询为何离不开代理

WHOIS 服务器由域名注册局和注册商维护，用于提供已注册域名的信息。但为了防止滥用、保护服务器资源并管理流量，它们会对查询量施加限制。从单个 IP 地址发起批量查询通常会导致：

• 速率限制： 服务器限制单个 IP 在特定时间段内（例如每分钟、每小时）可以发起的查询数量。超过该限制会导致临时封禁或被限速的响应。
• IP 封锁： 从单个 IP 持续或激进地查询会触发自动化安全系统，导致该 IP 地址被永久禁止访问 WHOIS 服务。
• 地域限制： 某些 WHOIS 数据源或特定顶级域注册局可能存在延迟差异，甚至会屏蔽来自特定地理区域的请求。代理允许对请求做地理定向，以优化性能或绕过区域封锁。

代理把负载分散到多个 IP 地址上，使每个请求看起来都来自不同的来源。这一策略让你能够进行大批量数据采集，而不会触发那些专门用来遏制单一来源滥用的安全机制。

用于 WHOIS 数据采集的代理类型

代理类型的选择会影响性能、成本和被检测的风险。

数据中心代理

数据中心代理来自托管在数据中心的服务器，通常在多个用户之间共享，或独享给单个用户。

• 优点： 速度快、成本相对较低、可大批量随时获取。
• 缺点： 由于其子网特征，目标服务器更容易将其识别为非住宅流量，更容易被成熟的反机器人系统封锁。
• 适用场景： 适合目标服务器反机器人措施不太严格的大批量、敏感度较低的 WHOIS 查询，或成本效率优先的场景。

住宅代理

住宅代理通过互联网服务提供商（ISP）分配给家庭用户的真实住宅 IP 地址转发流量。

• 优点： 匿名度高，看起来就像从住宅地址上网的真实用户，很难被检测和封锁。
• 缺点： 成本更高；由于流量经由终端用户线路转发，速度可能低于数据中心代理。
• 适用场景： 突破严格反机器人措施、访问会激进封锁数据中心 IP 的 WHOIS 服务，或在数据完整性与采集成功率至关重要时必不可少。

轮换代理与粘性会话

• 轮换代理： 每次请求或经过一个较短的预设间隔后分配新的 IP 地址。这非常适合把请求分散到庞大的 IP 池中，将任何单个 IP 被限速或封锁的风险降到最低。
• 粘性会话： 在较长时间内保持同一个 IP 地址，通常为几分钟到一小时。如果 WHOIS 服务会跟踪会话，或一系列关联请求需要一致的 IP 身份，粘性会话会很有用。

在 WHOIS 工具中接入代理

把代理接入 WHOIS 查询流程，要么使用原生支持代理配置的工具，要么通过系统级代理工具转发流量。

自定义脚本（Python 示例）

对于程序化 WHOIS 查询，可以配置库使用代理。原生 WHOIS 协议（43 端口）本身不支持 HTTP/HTTPS 代理，但许多现代 WHOIS 服务提供支持代理的网页接口或 API。对于直连 WHOIS，通常使用 SOCKS 代理。

import requests
import time
from datetime import datetime

# 注意：'requests' 库用于 HTTP/HTTPS 请求。
# 原生 WHOIS 协议（43 端口）需要在操作系统层面配置 SOCKS 代理
#（例如 proxychains），或使用支持原始套接字 SOCKS 的专用库。
# 本示例演示如何为假设的网页版 WHOIS API 或 WHOIS 网站抓取场景使用代理。

def fetch_whois_api(domain, proxy_url):
    """
    通过假设的网页版 WHOIS API，使用 HTTP/HTTPS 代理获取某个域名的 WHOIS 数据。
    """
    proxies = {
        "http": proxy_url,
        "https": proxy_url,
    }
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36",
        "Accept": "application/json",
        "Accept-Language": "en-US,en;q=0.9",
    }
    api_endpoint = f"https://api.whoislookup.example.com/v1/domain/{domain}"

    try:
        response = requests.get(api_endpoint, proxies=proxies, headers=headers, timeout=15)
        response.raise_for_status() # 对 HTTP 错误（4xx 或 5xx）抛出异常
        return response.json()
    except requests.exceptions.RequestException as e:
        print(f"[{datetime.now().isoformat()}] Error fetching WHOIS for {domain} via {proxy_url}: {e}")
        return None

# 示例用法：
domains_to_check = ["example.com", "testdomain.net", "anotherdomain.org", "sample.info"]
proxy_list = [
    "http://user1:[email protected]:8080",
    "http://user2:[email protected]:8080",
    "http://user3:[email protected]:8080",
]

for i, domain in enumerate(domains_to_check):
    current_proxy = proxy_list[i % len(proxy_list)] # 轮换代理
    print(f"[{datetime.now().isoformat()}] Checking {domain} using proxy {current_proxy}...")
    whois_data = fetch_whois_api(domain, current_proxy)

    if whois_data:
        print(f"[{datetime.now().isoformat()}] WHOIS data for {domain}: Status = {whois_data.get('status', 'N/A')}")
        # 按需处理其他 WHOIS 数据字段
    else:
        print(f"[{datetime.now().isoformat()}] Failed to retrieve WHOIS data for {domain}.")

    time.sleep(2) # 加入延迟，保持克制，避免激进查询

用 Proxychains 驱动原生 WHOIS 客户端

标准命令行 whois 工具运行在原生 WHOIS 协议（TCP 43 端口）之上，通常需要借助 proxychains（Linux/macOS）这类工具。proxychains 会强制指定程序建立的任何 TCP 连接都经过代理（HTTP、HTTPS、SOCKS4、SOCKS5）。

1. 安装： 安装 proxychains（例如在基于 Debian 的系统上执行 sudo apt-get install proxychains-ng）。

2. 配置： 编辑 proxychains 配置文件（通常是 /etc/proxychains.conf 或 ~/.proxychains/proxychains.conf）。取消 dynamic_chain 的注释，并在文件末尾添加您的代理服务器信息。

   ```

   /etc/proxychains.conf 片段

   ...

   取消注释以使用动态链

   dynamic_chain

   ... 其他设置

   ProxyList 格式：类型 ip 端口 [用户名 密码]

   示例：

   socks5 127.0.0.1 9050 # Tor 默认

   http 192.168.1.1 8080

   socks5 user:[email protected] 1080

   在此添加您的代理：

   http proxy1.example.com 8080 user1 pass1
   socks5 proxy2.example.com 1080 user2 pass2
   ```

3. 使用： 在 whois 命令前加上 proxychains。

   bash proxychains whois example.com
proxychains 会把 whois 命令的连接经由一个或多个已配置的代理转发。

常见挑战与应对策略

用代理做批量 WHOIS 查询会遇到若干挑战：

• CAPTCHA： 即便使用轮换代理，一些网页版 WHOIS 服务仍会启用 CAPTCHA。
  • 应对： 尽可能优先使用直连 WHOIS 协议（较少出现 CAPTCHA）。针对网页接口接入打码服务。
• 数据解析复杂： WHOIS 数据通常以非结构化文本返回，无论是否使用代理都需要健壮的解析逻辑。
  • 应对： 使用专门的 WHOIS 解析库（例如 Python 的 python-whois），或自行开发正则/文本处理流程。
• 代理质量与稳定性： 劣质代理（速度慢、频繁离线或已被列入黑名单）会导致查询失败。
  • 应对： 从可靠的供应商采购代理。实现代理健康检查，并让轮换逻辑优先使用表现好的代理。
• IP 黑名单与检测： 如果使用模式过于激进，即使是住宅代理最终也可能被检测并封锁。
  • 应对： 使代理来源多样化。实现智能轮换、变化请求节奏，并模拟真人浏览行为（例如真实的 User-Agent 与 referer）。
• 限速与速率限制（即便使用代理）： 代理虽有帮助，但请求过快仍可能让服务器端对当前代理 IP 临时限速。
  • 应对： 在请求之间加入延迟（Python 中的 time.sleep）。重试时采用指数退避。

批量 WHOIS 查询中的代理使用最佳实践

有效的代理管理是批量 WHOIS 数据采集成功的关键。

• 维护多样化的代理池： 使用来自不同供应商和不同地理位置的大规模代理池，以最大化匿名性和抗封锁能力。
• 实现智能代理轮换： 有策略地轮换代理。例如为每次域名查询分配一个新代理，或在固定请求数之后、或某个代理失败之后再轮换。
• 健壮的错误处理与重试： 设计脚本时要妥善处理连接错误、超时和特定 HTTP 状态码（例如 403 Forbidden、429 Too Many Requests）。用不同代理实现重试机制。
• 模拟正常用户行为： 设置合适的 HTTP 头（User-Agent、Accept-Language、Referer），让请求看起来来自标准网页浏览器。
• 克制的抓取行为： 抓取网页版 WHOIS 服务时遵守 robots.txt 指令。在请求之间设置合理延迟，避免压垮目标服务器。
• 监控代理性能： 持续监控池中每个代理的成功率、响应时间和错误率。移除表现不佳的代理或降低其优先级。

伦理与法律考量

即使使用代理，批量采集 WHOIS 数据同样伴随伦理和法律责任。

• 服务条款（ToS）： 务必查阅您所查询的 WHOIS 服务或注册商/注册局的服务条款。批量采集或抓取可能被明确禁止。
• 数据隐私法规： 如果 WHOIS 数据包含个人信息（即便已做脱敏），请注意数据隐私法律（例如 GDPR、CCPA）。在存储、处理和使用所采集数据时确保合规。
• 防止滥用： WHOIS 数据的用途是域名管理、网络安全研究、知识产权保护等正当目的。不要将采集到的数据用于垃圾邮件、骚扰或其他非法活动。
• 正当使用场景： 代理可支持域名组合监控、为品牌保护追踪新注册域名、网络安全威胁情报或域名趋势市场研究等正当活动。