如何在 Apify actor 中使用 GProxy 代理
为 Apify actor 配置 GProxy 住宅代理和数据中心代理,用于网页抓取。涵盖代理配置、Crawlee 集成与成本优化。
准备事项
- ✓[
- ✓"
- ✓A
- ✓p
- ✓i
- ✓f
- ✓y
- ✓
- ✓账
- ✓户
- ✓(
- ✓免
- ✓费
- ✓或
- ✓付
- ✓费
- ✓)
- ✓"
- ✓,
- ✓
- ✓"
- ✓本
- ✓地
- ✓开
- ✓发
- ✓需
- ✓
- ✓N
- ✓o
- ✓d
- ✓e
- ✓.
- ✓j
- ✓s
- ✓
- ✓1
- ✓6
- ✓+
- ✓"
- ✓,
- ✓
- ✓"
- ✓拥
- ✓有
- ✓有
- ✓效
- ✓代
- ✓理
- ✓套
- ✓餐
- ✓的
- ✓
- ✓G
- ✓P
- ✓r
- ✓o
- ✓x
- ✓y
- ✓
- ✓账
- ✓户
- ✓"
- ✓,
- ✓
- ✓"
- ✓熟
- ✓悉
- ✓
- ✓A
- ✓p
- ✓i
- ✓f
- ✓y
- ✓
- ✓a
- ✓c
- ✓t
- ✓o
- ✓r
- ✓
- ✓或
- ✓
- ✓C
- ✓r
- ✓a
- ✓w
- ✓l
- ✓e
- ✓e
- ✓"
- ✓]
分步设置
[
{
"
T
I
T
L
E
"
:
"
安
装
C
R
A
W
L
E
E
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
为
您
的
A
C
T
O
R
创
建
一
个
C
R
A
W
L
E
E
项
目
"
,
"
C
O
D
E
"
:
"
N
P
X
C
R
A
W
L
E
E
C
R
E
A
T
E
M
Y
-
S
C
R
A
P
E
R
\
N
C
D
M
Y
-
S
C
R
A
P
E
R
\
N
N
P
M
I
N
S
T
A
L
L
"
}
,
{
"
T
I
T
L
E
"
:
"
将
G
P
R
O
X
Y
配
置
为
外
部
代
理
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
用
G
P
R
O
X
Y
U
R
L
设
置
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
"
,
"
C
O
D
E
"
:
"
I
M
P
O
R
T
{
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
}
F
R
O
M
'
C
R
A
W
L
E
E
'
;
\
N
\
N
C
O
N
S
T
P
R
O
X
Y
C
O
N
F
I
G
=
N
E
W
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
(
{
\
N
P
R
O
X
Y
U
R
L
S
:
[
'
H
T
T
P
:
/
/
U
S
E
R
:
P
A
S
S
@
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
:
1
0
0
0
'
]
\
N
}
)
;
"
}
,
{
"
T
I
T
L
E
"
:
"
在
C
H
E
E
R
I
O
C
R
A
W
L
E
R
中
使
用
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
为
基
于
C
H
E
E
R
I
O
的
抓
取
器
添
加
代
理
"
,
"
C
O
D
E
"
:
"
I
M
P
O
R
T
{
C
H
E
E
R
I
O
C
R
A
W
L
E
R
}
F
R
O
M
'
C
R
A
W
L
E
E
'
;
\
N
\
N
C
O
N
S
T
C
R
A
W
L
E
R
=
N
E
W
C
H
E
E
R
I
O
C
R
A
W
L
E
R
(
{
\
N
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
:
P
R
O
X
Y
C
O
N
F
I
G
,
\
N
A
S
Y
N
C
R
E
Q
U
E
S
T
H
A
N
D
L
E
R
(
{
R
E
Q
U
E
S
T
,
$
}
)
{
\
N
C
O
N
S
T
T
I
T
L
E
=
$
(
'
T
I
T
L
E
'
)
.
T
E
X
T
(
)
;
\
N
C
O
N
S
O
L
E
.
L
O
G
(
T
I
T
L
E
)
;
\
N
}
\
N
}
)
;
"
}
,
{
"
T
I
T
L
E
"
:
"
在
P
L
A
Y
W
R
I
G
H
T
C
R
A
W
L
E
R
中
使
用
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
为
基
于
浏
览
器
的
抓
取
器
添
加
代
理
"
,
"
C
O
D
E
"
:
"
I
M
P
O
R
T
{
P
L
A
Y
W
R
I
G
H
T
C
R
A
W
L
E
R
}
F
R
O
M
'
C
R
A
W
L
E
E
'
;
\
N
\
N
C
O
N
S
T
C
R
A
W
L
E
R
=
N
E
W
P
L
A
Y
W
R
I
G
H
T
C
R
A
W
L
E
R
(
{
\
N
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
:
P
R
O
X
Y
C
O
N
F
I
G
,
\
N
A
S
Y
N
C
R
E
Q
U
E
S
T
H
A
N
D
L
E
R
(
{
P
A
G
E
}
)
{
\
N
C
O
N
S
T
T
I
T
L
E
=
A
W
A
I
T
P
A
G
E
.
T
I
T
L
E
(
)
;
\
N
C
O
N
S
O
L
E
.
L
O
G
(
T
I
T
L
E
)
;
\
N
}
\
N
}
)
;
"
}
,
{
"
T
I
T
L
E
"
:
"
部
署
到
A
P
I
F
Y
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
把
A
C
T
O
R
推
送
到
A
P
I
F
Y
平
台
"
,
"
C
O
D
E
"
:
"
A
P
I
F
Y
L
O
G
I
N
\
N
A
P
I
F
Y
P
U
S
H
"
}
,
{
"
T
I
T
L
E
"
:
"
在
A
P
I
F
Y
C
O
N
S
O
L
E
中
设
置
代
理
"
,
"
D
E
S
C
R
I
P
T
I
O
N
"
:
"
在
A
C
T
O
R
输
入
中
配
置
代
理
U
R
L
"
,
"
C
O
D
E
"
:
"
A
C
T
O
R
I
N
P
U
T
→
P
R
O
X
Y
C
O
N
F
I
G
U
R
A
T
I
O
N
:
\
N
{
\
"
U
S
E
A
P
I
F
Y
P
R
O
X
Y
\
"
:
F
A
L
S
E
,
\
"
P
R
O
X
Y
U
R
L
S
\
"
:
[
\
"
H
T
T
P
:
/
/
U
S
E
R
:
P
A
S
S
@
P
R
O
X
Y
.
G
P
R
O
X
Y
.
N
E
T
:
1
0
0
0
\
"
]
}
"
}
]
代码示例
为什么在 Apify 中使用 GProxy?
Apify 是一个运行云端 actor 的网页抓取与自动化平台。虽然 Apify 自带代理服务,但 GProxy 提供了更具性价比的替代方案:150+ 国家的 10M+ 住宅 IP。把 GProxy 作为外部代理用于 Apify actor,能带来更好的价格、更高的 IP 多样性,以及对代理基础设施的完全掌控。
外部代理配置
使用 Crawlee(原 Apify SDK)构建的 Apify actor 支持通过 ProxyConfiguration 类配置外部代理。将 GProxy 的代理 URL 作为自定义代理 URL 传入,Crawlee 会自动把所有请求经由它路由。
Crawlee 集成
Crawlee 是 Apify 面向 Node.js 的开源网页抓取库,支持 CheerioCrawler(高速 HTTP)、PlaywrightCrawler(浏览器)和 PuppeteerCrawler(Chrome)。三者都可通过 proxyConfiguration 选项使用外部代理。
成本优化
在高并发大批量抓取场景下,GProxy 的定价模式可能比 Apify 内置代理更划算。对不敏感的目标使用 GProxy 数据中心代理,对具有强反爬保护的站点使用住宅代理。这种分层策略可优化总体抓取成本。
会话管理
Apify 的 session pool 可配合 GProxy 的粘性会话使用。在需要登录的抓取或多页导航中,跨多次请求保持同一 IP。配置会话最大存续时间和轮换频率,在 IP 新鲜度与会话连续性之间取得平衡。
扩展的最佳实践
使用 GProxy 代理扩展 Apify actor 时,请根据您的 GProxy 套餐设置合适的并发上限。先从 10-20 个并发连接开始,再逐步提高。GProxy 的基础设施可承受高并发,但遵守目标站点的限制能避免不必要的封锁。
