如何搭建带自动检测的代理池

如何搭建带自动检测的代理池

引言

带自动检测的代理池是一套系统：它保存代理列表，定期检测其可用性，并通过 API 提供可用代理。

基础搭建

架构

代理池的组成部分：
1. 数据库 — 存储代理（PostgreSQL、Redis）
2. 检测器（Checker） — 检测代理可用性
3. API — 对外提供可用代理
4. 调度器（Scheduler） — 定期触发检测
5. Web UI — 监控（可选）

数据模型

每个代理需要存储：
- ip, port, type (http/socks5)
- username, password
- status (alive/dead)
- latency (ms)
- country, city
- last_checked, last_alive
- fail_count

Python 检测器

使用 aiohttp 异步并发检测数百个代理。对每个代理：
1. 通过该代理向 httpbin.org/ip 发送请求
2. 测量响应时间
3. 校验 IP 是否与预期一致
4. 更新数据库中的状态

进阶配置

环境变量

大多数工具都支持标准的代理环境变量：
- HTTP_PROXY / http_proxy — 用于 HTTP 请求的代理
- HTTPS_PROXY / https_proxy — 用于 HTTPS 请求的代理
- NO_PROXY / no_proxy — 例外列表（绕过代理的地址）
- ALL_PROXY / all_proxy — 用于所有协议的代理

SSL 与自签名证书

企业代理常常使用自己的 SSL 证书。要通过它们工作，需要：
1. 从管理员处获取代理的 CA 证书
2. 将其添加到系统证书库
3. 或者关闭 SSL 校验（仅限测试）

身份验证

支持两种主要的身份验证方式：

用户名和密码 — 标准的 HTTP Basic 认证。凭据随每个请求发送。URL 格式：http://user:pass@proxy_ip:port

IP 地址（白名单） — 把您的 IP 加入白名单，无需发送任何凭据。

验证是否可用

配置完成后请验证：
1. 通过代理发起一次测试请求
2. 确认 IP 已经改变
3. 检查连接速度
4. 确认没有 DNS 泄漏

故障排查

代理连接不上

• 检查地址和端口是否正确
• 确认防火墙没有阻断连接
• 检查从您的网络能否访问该代理

SSL 错误

• 对企业代理，添加 CA 证书
• 测试时 — 临时关闭 SSL 校验
• 将 SSL 库升级到最新版本

认证错误

• 检查用户名和密码
• 确认凭据格式正确
• 尝试对密码中的特殊字符做 URL 编码

最佳实践

1. 使用环境变量 — 兼顾灵活性与安全性
2. 不要把凭据硬编码 — 使用环境变量或配置文件
3. 配置例外 — 不要让 localhost 和内网地址走代理
4. 记录配置 — 写进项目 README 或团队 wiki
5. 改动后要测试 — 任何配置变更都需要验证

结论

正确的代理配置能保证工具稳定运行和连接安全。请遵循本指南中的建议，并在配置完成后始终验证其可用性。