Русский
English
Українська
Deutsch
Español
Português
Türkçe
中文
要向网站隐藏代理的使用，主要依靠使用高质量的住宅代理或独享代理、轮换 IP 地址，并细致地管理浏览器与网络请求配置，以防止通过 IP 信誉、HTTP 请求头、WebRTC 泄露和浏览器指纹被识别出来。
了解代理检测机制
网站会采用多种技术来识别并封禁来自代理的连接。这些机制从简单的请求头分析到高级的浏览器指纹识别，目的是过滤自动化机器人、遏制欺诈、执行地域限制或保护知识产权。
IP 信誉与黑名单
网站会自建或订阅数据库，收录已知属于数据中心、VPN 或此前被判定为恶意方的 IP 地址。当请求来自此类数据库中列出的 IP 地址时，就会被标记为可疑。有垃圾信息、撞库或其他滥用行为记录的 IP 地址会很快被加入这些黑名单。
HTTP 请求头
HTTP 请求包含多种请求头，用于提供客户端、请求本身以及任何中间节点的信息。代理常常会添加或修改特定请求头，从而在无意中暴露自身的存在。表明使用代理的常见请求头包括 Via、X-Forwarded-For、Proxy-Connection 和 Forwarded。
WebRTC 泄露
WebRTC（Web Real-Time Communication）是一项在浏览器中实现实时通信能力的技术。它虽然有利于直接通信，但即使用户通过代理或 VPN 连接，WebRTC 仍可能暴露其真实 IP 地址。原因在于 WebRTC 通常使用 STUN/TURN 服务器来发现客户端的本地和公网 IP 地址以建立点对点连接，从而绕过了代理。
浏览器指纹
浏览器指纹会汇总用户浏览器和设备的大量数据点，生成唯一标识符。这种"指纹"可以跨网站追踪用户，并检测出与常见浏览器配置的偏差。数据点包括：
* User-Agent 字符串
* 屏幕分辨率与色深
* 已安装字体
* 浏览器插件与扩展
* Canvas 与 WebGL 渲染能力
* 硬件并发数
* 时区与语言设置
* HTTP 请求头顺序
当浏览器指纹与其 IP 地址的来源不一致时（例如来自移动 IP 却是典型的 Windows 指纹），或者呈现出自动化脚本的典型特征时，就会触发警示。
隐藏代理使用的策略
有效隐藏代理使用需要多管齐下：把恰当的代理选型与细致的配置和行为模仿结合起来。
代理类型选择
代理类型的选择是避免被检测的基础。
住宅代理
住宅代理通过互联网服务提供商（ISP）分配给住宅用户的真实 IP 地址转发流量。由于这些 IP 来自真实的家庭和移动设备，在网站看来是合法的。
独享数据中心代理
独享数据中心代理使用来自商业数据中心的 IP 地址，但每个 IP 只保留给单个用户使用。虽然仍能被识别为数据中心 IP，但其独享属性降低了因其他用户行为而被拉黑的风险。
共享数据中心代理（应避免）
共享数据中心代理使用由多个用户共用的 IP 地址。由于不同用户滥用行为的累积，这些 IP 极易被拉黑，而且很容易被识别为数据中心 IP。
| 特性 | 住宅代理 | 独享数据中心代理 | 共享数据中心代理 |
|---|---|---|---|
| 来源 IP | ISP 分配的真实 IP（住宅／移动） | 商业数据中心 | 商业数据中心 |
| 匿名等级 | 高（看起来像普通用户） | 中（已知的数据中心 IP，但为独享） | 低（容易被识别且常被拉黑） |
| 被检测风险 | 低 | 中到高 | 高 |
| 成本 | 高 | 中 | 低 |
| 地理定位 | 极佳（可定位具体城市、地区、ISP） | 良好（国家级，有时可到城市级） | 有限（国家级） |
| 适用场景 | 需要高匿名性与高信任度的网页抓取、广告验证、SEO 监控、市场调研 | 高带宽任务、对极致隐蔽性要求不高的特定数据采集 | 低风险、非敏感任务；一般不推荐用于隐蔽场景 |
IP 轮换与管理
频繁轮换 IP 对于防止限流以及基于同一 IP 重复请求的检测至关重要。网站通常会统计一段时间内来自某个 IP 地址的请求数量。超过阈值可能触发 CAPTCHA、临时封禁或永久封禁。
* 自动轮换： 使用能在每次请求后或按设定间隔（例如每分钟、每 5 分钟）自动轮换 IP 的代理服务。
* 粘性会话： 对于需要保持会话的任务（例如登录），使用在设定时长内保持同一 IP、之后再轮换的粘性会话。
* IP 池多样性： 使用来自不同 IP 段和不同地理位置的代理，避免被目标网站识别出规律。
HTTP 请求头管理
代理可能通过特定的 HTTP 请求头暴露自身。缓解方法如下：
常见的代理相关请求头
Via：表明请求经过的中间代理或网关。X-Forwarded-For：列出转发该请求的所有代理的 IP 地址，客户端的原始 IP 排在最前。Proxy-Connection：客户端用于表明代理连接偏好的请求头。Forwarded：较新的标准化请求头，整合了Via与X-Forwarded-For的信息。
修改请求头
配置您的代理客户端或应用程序，移除或伪造这些请求头。同时确保其他请求头（例如 User-Agent、Accept-Language、Accept-Encoding）与典型浏览器保持一致，并尽可能与代理所在的地理位置匹配。
在 Python requests 库中移除请求头的示例：
import requests
proxies = {
'http': 'http://user:[email protected]:8080',
'https': 'http://user:[email protected]:8080'
}
# requests 库发送的默认请求头
# 通常会发送 User-Agent、Accept-Encoding、Accept、Connection
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept-Language': 'en-US,en;q=0.9',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
# 如果客户端会添加代理相关请求头，请显式移除
# 注意：许多代理服务会自动处理这一点。
# 如果是代理本身*添加*这些请求头，仅在客户端移除是不够的。
# 必须把代理本身配置为不添加它们。
'Via': '', # 移除或置为空
'X-Forwarded-For': '' # 移除或置为空
}
try:
response = requests.get('http://targetwebsite.com', proxies=proxies, headers=headers)
print(response.status_code)
# print(response.request.headers) # 用于查看实际发送的请求头
except requests.exceptions.RequestException as e:
print(f"Request failed: {e}")
浏览器配置与运行环境
除了网络层面的配置外，客户端浏览器的行为和特征对于隐蔽性同样关键。
禁用 WebRTC
在浏览器中禁用 WebRTC，或使用专门防止 WebRTC 泄露的浏览器扩展。在 Firefox 中，于地址栏输入 about:config 并将 media.peerconnection.enabled 设为 false。在基于 Chromium 的浏览器中，"WebRTC Network Limiter"之类的扩展可以缓解泄露。
User-Agent 字符串管理
确保 User-Agent 字符串与常见的浏览器版本和操作系统一致。定期更新它以反映当前的浏览器趋势。避免使用过时或冷门的 User-Agent。
Cookie 与本地存储管理
为每个会话或任务使用"干净"的浏览器配置文件。这包括清除 cookie、本地存储和会话数据，以防止网站把当前活动与过去的访问关联起来，或识别出持续存在的自动化模式。反检测浏览器会自动管理这些配置文件。
缓解浏览器指纹
缓解浏览器指纹需要处理多项浏览器属性：
Canvas 指纹
Canvas 指纹利用浏览器渲染图形的独特方式。"Canvas Blocker"之类的扩展工具可以向 canvas 输出中注入噪声，使每次生成的指纹都不相同。
WebGL 指纹
与 canvas 类似，WebGL 使用 3D 渲染。一些反检测浏览器或扩展可以修改 WebGL 的渲染参数。
字体枚举
网站可以检测已安装的字体。请使用一套标准字体，或使用能伪造字体列表的反检测浏览器。
硬件与软件细节
伪造屏幕分辨率、CPU 核心数和内存等细节，可以通过反检测浏览器或专门的浏览器自动化框架实现（例如搭配 puppeteer-extra-plugin-stealth 的 Puppeteer）。这些工具会修改网站所查询的 JavaScript 属性。
连接安全（SSL/TLS）
请始终使用 HTTPS 代理以保证通信安全。HTTPS 代理会加密客户端与代理服务器之间的流量，更关键的是也会加密代理服务器与目标网站之间的流量。这可以防止中间方检查或篡改您的请求数据，并确保目标网站看到的是一个标准且安全的连接。
模拟人类行为
自动化请求往往表现出与人类交互不同的规律。
请求模式与延迟
在请求之间加入可变的延迟。避免固定间隔的延迟或密集连发的请求。模拟典型的人类浏览行为，包括在页面间跳转、点击元素以及在内容上停留一段时间。
CAPTCHA 处理
网站使用 CAPTCHA 来区分人类与机器人。遇到时可接入 CAPTCHA 解决服务（例如 2Captcha、Anti-Captcha），或集成由真人处理的 CAPTCHA 解决方案。这会增加一层类似人类的交互。
# 在 Python 中添加可变延迟的示例
import time
import random
def human_like_delay(min_delay=1, max_delay=5):
time.sleep(random.uniform(min_delay, max_delay))
# 在您的抓取循环中：
# requests.get(...)
# human_like_delay()
# requests.get(...)
将这些策略结合使用，代理用户可以显著降低被检测的概率，并持续保持对目标网站的访问。