如何在 Scrapy 中使用代理：完整指南

TL;DR

了解如何为大规模网页抓取配置 GProxy 住宅代理和数据中心代理与 Scrapy 配合使用，内容涵盖中间件设置、代理轮换和错误处理。

获取代理 → Scrapy 网站 →

语言: Python

准备事项

✓[
✓"
✓已
✓安
✓装
✓
✓P
✓y
✓t
✓h
✓o
✓n
✓
✓3
✓.
✓8
✓+
✓"
✓,
✓
✓"
✓已
✓安
✓装
✓
✓S
✓c
✓r
✓a
✓p
✓y
✓
✓2
✓.
✓x
✓（
✓p
✓i
✓p
✓
✓i
✓n
✓s
✓t
✓a
✓l
✓l
✓
✓s
✓c
✓r
✓a
✓p
✓y
✓）
✓"
✓,
✓
✓"
✓拥
✓有
✓有
✓效
✓代
✓理
✓套
✓餐
✓的
✓
✓G
✓P
✓r
✓o
✓x
✓y
✓
✓账
✓户
✓"
✓,
✓
✓"
✓对
✓
✓S
✓c
✓r
✓a
✓p
✓y
✓
✓s
✓p
✓i
✓d
✓e
✓r
✓
✓和
✓
✓s
✓e
✓t
✓t
✓i
✓n
✓g
✓s
✓
✓有
✓基
✓本
✓了
✓解
✓"
✓]

分步设置

[

{

"

T

I

T

L

E

"

:

"

安

装

S

C

R

A

P

Y

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

安

装

S

C

R

A

P

Y

并

创

建

新

项

目

"

,

"

C

O

D

E

"

:

"

P

I

P

I

N

S

T

A

L

S

C

R

A

P

Y

\

N

S

C

R

A

P

Y

S

T

A

R

100

T

101

P

102

R

103

O

104

J

105

E

106

C

107

T

108

109

M

110

Y

111

P

112

R

113

O

114

J

115

E

116

C

117

T

118

\

119

N

120

C

121

D

122

123

M

124

Y

125

P

126

R

127

O

128

J

129

E

130

C

131

T

132

"

133

}

134

,

135

136

{

137

"

138

T

139

I

140

T

141

L

142

E

143

"

144

:

145

146

"

147

在

148

149

S

150

E

151

T

152

T

153

I

154

N

155

G

156

S

157

.

158

P

159

Y

160

161

中

162

配

163

置

164

代

165

理

166

"

167

,

168

169

"

170

D

171

E

172

S

173

C

174

R

175

I

176

P

177

T

178

I

179

O

180

N

181

"

182

:

183

184

"

185

将

186

代

187

理

188

设

189

置

190

添

191

加

192

到

193

项

194

目

195

的

196

197

S

198

E

199

T

200

T

201

I

202

N

203

G

204

S

205

.

206

P

207

Y

208

"

209

,

210

211

"

212

C

213

O

214

D

215

E

216

"

217

:

218

219

"

220

#

221

222

S

223

E

224

T

225

T

226

I

227

N

228

G

229

S

230

.

231

P

232

Y

233

\

234

N

235

H

236

T

237

T

238

P

239

P

240

R

241

O

242

X

243

Y

244

_

245

E

246

N

247

A

248

B

249

L

250

E

251

D

252

253

=

254

255

T

256

R

257

U

258

E

259

\

260

N

261

D

262

O

263

W

264

N

265

L

266

O

267

A

268

D

269

E

270

R

271

_

272

M

273

I

274

D

275

D

276

L

277

E

278

W

279

A

280

R

281

E

282

S

283

284

=

285

286

{

287

\

288

N

289

290

291

292

293

'

294

M

295

Y

296

P

297

R

298

O

299

J

300

E

301

C

302

T

303

.

304

M

305

I

306

D

307

D

308

L

309

E

310

W

311

A

312

R

313

E

314

S

315

.

316

G

317

P

318

R

319

O

320

X

321

Y

322

M

323

I

324

D

325

D

326

L

327

E

328

W

329

A

330

R

331

E

332

'

333

:

334

335

3

336

5

337

0

338

,

339

\

340

N

341

342

343

344

345

'

346

S

347

C

348

R

349

A

350

P

351

Y

352

.

353

D

354

O

355

W

356

N

357

L

358

O

359

A

360

D

361

E

362

R

363

M

364

I

365

D

366

D

367

L

368

E

369

W

370

A

371

R

372

E

373

S

374

.

375

H

376

T

377

T

378

P

379

P

380

R

381

O

382

X

383

Y

384

.

385

H

386

T

387

T

388

P

389

P

390

R

391

O

392

X

393

Y

394

M

395

I

396

D

397

D

398

L

399

E

400

W

401

A

402

R

403

E

404

'

405

:

406

407

4

408

0

409

0

410

,

411

\

412

N

413

}

414

"

415

}

416

,

417

418

{

419

"

420

T

421

I

422

T

423

L

424

E

425

"

426

:

427

428

"

429

创

430

建

431

代

432

理

433

中

434

间

435

件

436

"

437

,

438

439

"

440

D

441

E

442

S

443

C

444

R

445

I

446

P

447

T

448

I

449

O

450

N

451

"

452

:

453

454

"

455

在

456

457

M

458

I

459

D

460

D

461

L

462

E

463

W

464

A

465

R

466

E

467

S

468

.

469

P

470

Y

471

472

中

473

创

474

建

475

自

476

定

477

义

478

中

479

间

480

件

481

"

482

,

483

484

"

485

C

486

O

487

D

488

E

489

"

490

:

491

492

"

493

C

494

L

495

A

496

S

497

S

498

499

G

500

P

501

R

502

O

503

X

504

Y

505

M

506

I

507

D

508

D

509

L

510

E

511

W

512

A

513

R

514

E

515

:

516

\

517

N

518

519

520

521

522

D

523

E

524

F

525

526

P

527

R

528

O

529

C

530

E

531

S

532

S

533

_

534

R

535

E

536

Q

537

U

538

E

539

S

540

T

541

(

542

S

543

E

544

L

545

F

546

,

547

548

R

549

E

550

Q

551

U

552

E

553

S

554

T

555

,

556

557

S

558

P

559

I

560

D

561

E

562

R

563

)

564

:

565

\

566

N

567

568

569

570

571

572

573

574

575

P

576

R

577

O

578

X

579

Y

580

581

=

582

583

'

584

H

585

T

586

T

587

P

588

:

589

/

590

/

591

U

592

S

593

E

594

R

595

:

596

P

597

A

598

S

599

S

600

@

601

P

602

R

603

O

604

X

605

Y

606

.

607

G

608

P

609

R

610

O

611

X

612

Y

613

.

614

N

615

E

616

T

617

:

618

1

619

0

620

0

621

0

622

'

623

\

624

N

625

626

627

628

629

630

631

632

633

R

634

E

635

Q

636

U

637

E

638

S

639

T

640

.

641

M

642

E

643

T

644

A

645

[

646

'

647

P

648

R

649

O

650

X

651

Y

652

'

653

]

654

655

=

656

657

P

658

R

659

O

660

X

661

Y

662

"

663

}

664

,

665

666

{

667

"

668

T

669

I

670

T

671

L

672

E

673

"

674

:

675

676

"

677

添

678

加

679

轮

680

换

681

支

682

持

683

"

684

,

685

686

"

687

D

688

E

689

S

690

C

691

R

692

I

693

P

694

T

695

I

696

O

697

N

698

"

699

:

700

701

"

702

如

703

需

704

自

705

动

706

轮

707

换

708

709

I

710

P

711

，

712

请

713

使

714

用

715

716

B

717

A

718

C

719

K

720

C

721

O

722

N

723

N

724

E

725

C

726

T

727

728

端

729

点

730

"

731

,

732

733

"

734

C

735

O

736

D

737

E

738

"

739

:

740

741

"

742

C

743

L

744

A

745

S

746

S

747

748

G

749

P

750

R

751

O

752

X

753

Y

754

R

755

O

756

T

757

A

758

T

759

I

760

N

761

G

762

M

763

I

764

D

765

D

766

L

767

E

768

W

769

A

770

R

771

E

772

:

773

\

774

N

775

776

777

778

779

D

780

E

781

F

782

783

P

784

R

785

O

786

C

787

E

788

S

789

S

790

_

791

R

792

E

793

Q

794

U

795

E

796

S

797

T

798

(

799

S

800

E

801

L

802

F

803

,

804

805

R

806

E

807

Q

808

U

809

E

810

S

811

T

812

,

813

814

S

815

P

816

I

817

D

818

E

819

R

820

)

821

:

822

\

823

N

824

825

826

827

828

829

830

831

832

R

833

E

834

Q

835

U

836

E

837

S

838

T

839

.

840

M

841

E

842

T

843

A

844

[

845

'

846

P

847

R

848

O

849

X

850

Y

851

'

852

]

853

854

=

855

856

'

857

H

858

T

859

T

860

P

861

:

862

/

863

/

864

U

865

S

866

E

867

R

868

-

869

C

870

O

871

U

872

N

873

T

874

R

875

Y

876

-

877

U

878

S

879

:

880

P

881

A

882

S

883

S

884

@

885

P

886

R

887

O

888

X

889

Y

890

.

891

G

892

P

893

R

894

O

895

X

896

Y

897

.

898

N

899

E

900

T

901

:

902

1

903

0

904

0

905

0

906

'

907

\

908

N

909

\

910

N

911

912

913

914

915

D

916

E

917

F

918

919

P

920

R

921

O

922

C

923

E

924

S

925

S

926

_

927

E

928

X

929

C

930

E

931

P

932

T

933

I

934

O

935

N

936

(

937

S

938

E

939

L

940

F

941

,

942

943

R

944

E

945

Q

946

U

947

E

948

S

949

T

950

,

951

952

E

953

X

954

C

955

E

956

P

957

T

958

I

959

O

960

N

961

,

962

963

S

964

P

965

I

966

D

967

E

968

R

969

)

970

:

971

\

972

N

973

974

975

976

977

978

979

980

981

R

982

E

983

T

984

U

985

R

986

N

987

988

R

989

E

990

Q

991

U

992

E

993

S

994

T

995

996

997

#

998

999

使

1000

用

1001

新

1002

1003

I

1004

P

1005

1006

重

1007

试

1008

"

1009

}

1010

,

1011

1012

{

1013

"

1014

T

1015

I

1016

T

1017

L

1018

E

1019

"

1020

:

1021

1022

"

1023

配

1024

置

1025

重

1026

试

1027

参

1028

数

1029

"

1030

,

1031

1032

"

1033

D

1034

E

1035

S

1036

C

1037

R

1038

I

1039

P

1040

T

1041

I

1042

O

1043

N

1044

"

1045

:

1046

1047

"

1048

添

1049

加

1050

重

1051

试

1052

配

1053

置

1054

以

1055

提

1056

高

1057

可

1058

靠

1059

性

1060

"

1061

,

1062

1063

"

1064

C

1065

O

1066

D

1067

E

1068

"

1069

:

1070

1071

"

1072

#

1073

1074

S

1075

E

1076

T

1077

T

1078

I

1079

N

1080

G

1081

S

1082

.

1083

P

1084

Y

1085

\

1086

N

1087

R

1088

E

1089

T

1090

R

1091

Y

1092

_

1093

E

1094

N

1095

A

1096

B

1097

L

1098

E

1099

D

1100

1101

=

1102

1103

T

1104

R

1105

U

1106

E

1107

\

1108

N

1109

R

1110

E

1111

T

1112

R

1113

Y

1114

_

1115

T

1116

I

1117

M

1118

E

1119

S

1120

1121

=

1122

1123

5

1124

\

1125

N

1126

R

1127

E

1128

T

1129

R

1130

Y

1131

_

1132

H

1133

T

1134

T

1135

P

1136

_

1137

C

1138

O

1139

D

1140

E

1141

S

1142

1143

=

1144

1145

[

1146

4

1147

0

1148

3

1149

,

1150

1151

4

1152

0

1153

7

1154

,

1155

1156

4

1157

2

1158

9

1159

,

1160

1161

5

1162

0

1163

0

1164

,

1165

1166

5

1167

0

1168

2

1169

,

1170

1171

5

1172

0

1173

3

1174

]

1175

\

1176

N

1177

D

1178

O

1179

W

1180

N

1181

L

1182

O

1183

A

1184

D

1185

_

1186

T

1187

I

1188

M

1189

E

1190

O

1191

U

1192

T

1193

1194

=

1195

1196

3

1197

0

1198

"

1199

}

1200

,

1201

1202

{

1203

"

1204

T

1205

I

1206

T

1207

L

1208

E

1209

"

1210

:

1211

1212

"

1213

运

1214

行

1215

您

1216

的

1217

1218

S

1219

P

1220

I

1221

D

1222

E

1223

R

1224

"

1225

,

1226

1227

"

1228

D

1229

E

1230

S

1231

C

1232

R

1233

I

1234

P

1235

T

1236

I

1237

O

1238

N

1239

"

1240

:

1241

1242

"

1243

测

1244

试

1245

代

1246

理

1247

配

1248

置

1249

"

1250

,

1251

1252

"

1253

C

1254

O

1255

D

1256

E

1257

"

1258

:

1259

1260

"

1261

S

1262

C

1263

R

1264

A

1265

P

1266

Y

1267

1268

C

1269

R

1270

A

1271

W

1272

L

1273

1274

M

1275

Y

1276

S

1277

P

1278

I

1279

D

1280

E

1281

R

1282

1283

-

1284

O

1285

1286

O

1287

U

1288

T

1289

P

1290

U

1291

T

1292

.

1293

J

1294

S

1295

O

1296

N

1297

"

1298

}

1299

]

代码示例

为什么要在 Scrapy 中使用代理？

Scrapy 是最流行的 Python 网页抓取框架，每天支撑着数百万次抓取任务。在大规模抓取时，您不可避免会遇到 IP 封禁、CAPTCHA 和频率限制。GProxy 覆盖 150+ 国家、拥有 10M+ IP 的住宅代理池会自动轮换出口 IP，从而解决这些问题。

代理认证方式

GProxy 在 Scrapy 中支持两种认证方式：通过代理 URL 的用户名/密码认证，以及在 GProxy 控制台中添加服务器 IP 的 IP 白名单认证。两种方式都能与 Scrapy 内置的代理支持无缝配合。

基础代理配置

在 Scrapy 中使用 GProxy 代理最简单的方式是通过 settings.py 文件。设置 HTTP_PROXY 和 HTTPS_PROXY 环境变量，或直接在 spider 的 custom settings 中配置。若需要轮换代理，请使用自定义 downloader middleware，为每个请求分配新的代理 URL。

自定义代理轮换中间件

用于生产环境的抓取时，自定义中间件能让您完全掌控代理分配。中间件在请求发送前拦截它，分配带轮换参数的代理端点，并处理超时或 407 认证失败等与代理相关的错误。GProxy 的 backconnect 端点在服务端完成轮换，因此通过同一端点建立的每个连接都会获得不同的 IP。

错误处理与重试

稳健的抓取需要完善的错误处理。配置 Scrapy 的 retry middleware 与您的代理方案配合：对 403、407、429 和 503 状态码进行重试，并设置合理的重试次数（3-5 次）。GProxy 的粘性会话可在需要时让多次重试保持同一个 IP——这对多页流程很有用。

并发请求与性能

Scrapy 擅长并发抓取，GProxy 的基础设施也能很好地承载高并发。先从 CONCURRENT_REQUESTS = 32 和 DOWNLOAD_DELAY = 0.5 开始，再根据目标站点的表现调整。使用 GProxy 住宅代理时，通常可以稳定运行 50-100 个并发请求。

在 Scrapy 中做地理定位

GProxy 支持国家和城市级别的定位。将目标国家作为代理凭据的一部分传入（例如 user-country-us），即可让请求经由该地区的 IP 发出。抓取有地域限制的内容或本地化搜索结果时，这一点必不可少。

应用场景

[

{

"

T

I

T

L

E

"

:

"

电

商

价

格

监

控

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

使

用

地

理

定

位

代

理

抓

取

多

家

零

售

商

的

商

品

价

格

，

查

看

本

地

化

定

价

。

"

}

,

{

"

T

I

T

L

E

"

:

"

S

E

R

P

排

名

跟

踪

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

使

用

特

定

国

家

的

住

宅

I

P

，

从

不

同

地

区

监

控

搜

索

引

擎

排

名

。

"

}

,

{

"

T

I

T

L

E

"

:

"

线

索

获

取

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

通

过

轮

换

I

P

大

规

模

提

取

企

业

名

录

和

联

系

数

据

，

避

免

被

识

别

。

"

}

,

{

"

T

I

T

L

E

"

:

"

内

容

聚

合

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

借

助

可

靠

的

代

理

轮

换

，

从

多

个

来

源

收

集

文

章

、

评

价

和

信

息

列

表

。

"

}

]

进阶技巧

设置 AUTOTHROTTLE_ENABLED = True 可自动调节请求速率。用 CONCURRENT_REQUESTS_PER_DOMAIN 限制单站点负载。开发阶段启用 HTTP 缓存，避免浪费代理流量。需要高级代理池管理时可使用 scrapy-rotating-proxies 包。

FAQ

准备开始了吗？

几分钟即可开始使用 GProxy——住宅代理 $0.85/GB 起，IPv6 $0.03/个起，按用量付费。

创建账户 → 套餐

其他集成

GProxy + cURL

在命令行 HTTP 请求中使用 GProxy 代理与 cURL。涵盖 HTTP、HTTPS、SOCKS5 代理类型、身份验证以及高级选项。

GProxy + Postman

在 Postman 中配置 GProxy 代理，从不同位置测试 API。涵盖全局代理设置、按请求配置以及环境变量。

GProxy + n8n

把 n8n 工作流的 HTTP 请求通过 GProxy 代理转发。涵盖 HTTP Request 节点配置、环境变量和自动化模式。

GProxy + Apify

为 Apify actor 配置 GProxy 住宅代理和数据中心代理，用于网页抓取。涵盖代理配置、Crawlee 集成与成本优化。

GProxy + Octoparse

Configure GProxy proxies in Octoparse for visual web scraping. Step-by-step proxy setup in Octoparse's GUI, rotation settings, and best practices.

GProxy + Node.js Axios

Configure GProxy proxies with Axios in Node.js for HTTP requests. Covers proxy configuration, HTTPS support, rotation patterns, and error handling.