如何在 Octoparse 中使用 GProxy 代理
在 Octoparse 中配置 GProxy 代理以进行可视化网页抓取。包含 Octoparse 图形界面中的代理设置步骤、轮换选项与最佳实践。
准备事项
- ✓[
- ✓"
- ✓O
- ✓c
- ✓t
- ✓o
- ✓p
- ✓a
- ✓r
- ✓s
- ✓e
- ✓
- ✓桌
- ✓面
- ✓应
- ✓用
- ✓或
- ✓云
- ✓端
- ✓账
- ✓户
- ✓"
- ✓,
- ✓
- ✓"
- ✓拥
- ✓有
- ✓有
- ✓效
- ✓代
- ✓理
- ✓套
- ✓餐
- ✓的
- ✓
- ✓G
- ✓P
- ✓r
- ✓o
- ✓x
- ✓y
- ✓
- ✓账
- ✓户
- ✓"
- ✓,
- ✓
- ✓"
- ✓准
- ✓备
- ✓抓
- ✓取
- ✓的
- ✓目
- ✓标
- ✓网
- ✓站
- ✓
- ✓U
- ✓R
- ✓L
- ✓"
- ✓]
分步设置
[
{
"
T
I
T
L
E
"
:
"
打
开
O
C
T
O
P
A
R
S
E
设
置
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
进
入
代
理
设
置
"
,
"
C
O
D
E
"
:
"
O
C
T
O
P
A
R
S
E
→
S
E
T
T
I
N
G
S
→
P
R
O
X
Y
S
E
T
T
I
N
G
S
"
}
,
{
"
T
I
T
L
E
"
:
"
将
G
P
R
O
X
Y
添
加
为
自
定
义
代
理
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
填
写
G
P
R
O
X
Y
代
理
信
息
"
,
"
C
O
D
E
"
:
"
P
R
O
X
Y
T
Y
P
E
:
H
T
T
P
\
N
A
D
D
R
E
S
S
:
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
\
N
P
O
R
T
:
1
0
0
0
\
N
U
S
E
R
N
A
M
E
:
Y
O
U
R
_
U
S
E
R
\
N
P
A
S
S
W
O
R
D
:
Y
O
U
R
_
P
A
S
S
"
}
,
{
"
T
I
T
L
E
"
:
"
配
置
轮
换
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
设
置
代
理
轮
换
频
率
"
,
"
C
O
D
E
"
:
"
R
O
T
A
T
I
O
N
M
O
D
E
:
P
E
R
R
E
Q
U
E
S
T
(
O
R
E
V
E
R
Y
N
R
E
Q
U
E
S
T
S
)
\
N
T
I
M
E
O
U
T
:
3
0
S
E
C
O
N
D
S
\
N
R
E
T
R
Y
O
N
F
A
I
L
U
R
E
:
E
N
A
B
L
E
D
"
}
,
{
"
T
I
T
L
E
"
:
"
添
加
地
理
定
向
代
理
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
添
加
按
国
家
区
分
的
条
目
以
进
行
本
地
化
抓
取
"
,
"
C
O
D
E
"
:
"
P
R
O
X
Y
1
:
U
S
E
R
-
C
O
U
N
T
R
Y
-
U
S
:
P
A
S
S
@
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
:
1
0
0
0
\
N
P
R
O
X
Y
2
:
U
S
E
R
-
C
O
U
N
T
R
Y
-
D
E
:
P
A
S
S
@
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
:
1
0
0
0
\
N
P
R
O
X
Y
3
:
U
S
E
R
-
C
O
U
N
T
R
Y
-
G
B
:
P
A
S
S
@
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
:
1
0
0
0
"
}
,
{
"
T
I
T
L
E
"
:
"
创
建
抓
取
任
务
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
在
启
用
代
理
的
情
况
下
搭
建
抓
取
流
程
"
,
"
C
O
D
E
"
:
"
N
E
W
T
A
S
K
→
E
N
T
E
R
U
R
L
→
S
E
L
E
C
T
D
A
T
A
F
I
E
L
D
S
→
E
N
A
B
L
E
P
R
O
X
Y
→
R
U
N
"
}
,
{
"
T
I
T
L
E
"
:
"
测
试
并
验
证
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
运
行
一
次
测
试
提
取
,
确
认
代
理
生
效
"
,
"
C
O
D
E
"
:
"
R
U
N
T
A
S
K
I
N
L
O
C
A
L
M
O
D
E
→
C
H
E
C
K
E
X
T
R
A
C
T
I
O
N
R
E
S
U
L
T
S
→
V
E
R
I
F
Y
N
O
B
L
O
C
K
S
"
}
]
代码示例
为什么在 Octoparse 中使用 GProxy?
Octoparse 是一款流行的无代码网页抓取工具,采用可视化的点选式界面。虽然 Octoparse 自带 IP 轮换功能,但将 GProxy 作为外部代理使用,可获得覆盖 150+ 国家的 10M+ 住宅 IP——IP 多样性远超 Octoparse 的默认 IP 池,能显著减少难抓目标上的封禁和 CAPTCHA。
在 Octoparse 中添加 GProxy 代理
Octoparse 支持通过 Settings 面板配置自定义代理。您可以把 GProxy 的代理端点连同认证凭据一起添加为自定义代理。配置完成后,Octoparse 会将全部抓取请求经由 GProxy 网络转发。
代理轮换设置
设置 Octoparse 轮换 GProxy IP 的频率。使用 GProxy 的 backconnect 代理时,每条新连接都会自动获得新的 IP。请将 Octoparse 的轮换间隔与您的抓取节奏匹配——对敏感站点通常为每 1-5 个请求轮换一次。
地理定向抓取
抓取特定地区数据时,请使用 GProxy 的 geo-targeting 功能。在 Octoparse 中添加按国家区分的代理条目,将请求经由特定地区的 IP 转发。抓取本地化电商价格、搜索结果或区域受限内容时,这一点必不可少。
云端执行与本地执行
Octoparse 可在本地或云端运行任务。本地执行时,请在桌面应用中配置代理;云端执行时,请在上传任务前把代理设置加入任务配置。GProxy 两种模式均支持。
应对反爬虫防护
将 GProxy 的住宅代理与 Octoparse 内置的浏览器模拟结合使用,可获得最高成功率。住宅 IP 比数据中心 IP 难检测得多,而 Octoparse 的可视化浏览器渲染可处理简单 HTTP 抓取无法应对的重度 JavaScript 站点。
