Como usar proxies com o Scrapy: guia completo

TL;DR

Aprenda a configurar proxies residenciais e de datacenter da GProxy com o Scrapy para web scraping em larga escala. Cobre configuração de middleware, rotação de proxy e tratamento de erros.

Obter proxies → Scrapy site →

Idioma: Python

Pré-requisitos

✓[
✓"
✓P
✓y
✓t
✓h
✓o
✓n
✓
✓3
✓.
✓8
✓+
✓
✓i
✓n
✓s
✓t
✓a
✓l
✓a
✓d
✓o
✓"
✓,
✓
✓"
✓S
✓c
✓r
✓a
✓p
✓y
✓
✓2
✓.
✓x
✓
✓i
✓n
✓s
✓t
✓a
✓l
✓a
✓d
✓o
✓
✓(
✓p
✓i
✓p
✓
✓i
✓n
✓s
✓t
✓a
✓l
✓l
✓
✓s
✓c
✓r
✓a
✓p
✓y
✓)
✓"
✓,
✓
✓"
✓C
✓o
✓n
✓t
✓a
✓
✓G
✓P
✓r
✓o
✓x
✓y
✓
✓c
✓o
✓m
✓
✓p
✓l
✓a
✓n
✓o
✓
✓d
✓e
✓
✓p
✓r
✓o
✓x
✓y
✓
✓a
✓t
✓i
✓v
✓o
✓"
✓,
✓
✓"
✓F
✓a
✓m
✓i
✓l
✓i
✓a
✓r
✓i
✓d
✓a
✓d
✓e
✓
✓b
✓á
✓s
✓i
✓c
✓a
✓
✓c
✓o
✓m
✓
✓s
✓p
✓i
✓d
✓e
✓r
✓s
✓
✓e
✓
✓s
✓e
✓t
✓t
✓i
✓n
✓g
✓s
✓
✓d
✓o
✓
✓S
✓c
✓r
✓a
✓p
✓y
✓"
✓]

Configuração passo a passo

[

{

"

T

I

T

L

E

"

:

"

I

N

S

T

A

L

E

O

S

C

R

A

P

Y

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

I

N

S

T

A

L

E

O

S

C

R

A

P

Y

E

C

R

I

E

U

M

N

O

V

O

P

R

O

J

E

T

O

"

,

"

C

O

D

E

"

:

"

P

100

I

101

P

102

103

I

104

N

105

S

106

T

107

A

108

L

109

L

110

111

S

112

C

113

R

114

A

115

P

116

Y

117

\

118

N

119

S

120

C

121

R

122

A

123

P

124

Y

125

126

S

127

T

128

A

129

R

130

T

131

P

132

R

133

O

134

J

135

E

136

C

137

T

138

139

M

140

Y

141

P

142

R

143

O

144

J

145

E

146

C

147

T

148

\

149

N

150

C

151

D

152

153

M

154

Y

155

P

156

R

157

O

158

J

159

E

160

C

161

T

162

"

163

}

164

,

165

166

{

167

"

168

T

169

I

170

T

171

L

172

E

173

"

174

:

175

176

"

177

C

178

O

179

N

180

F

181

I

182

G

183

U

184

R

185

E

186

187

O

188

189

P

190

R

191

O

192

X

193

Y

194

195

E

196

M

197

198

S

199

E

200

T

201

T

202

I

203

N

204

G

205

S

206

.

207

P

208

Y

209

"

210

,

211

212

"

213

D

214

E

215

S

216

C

217

R

218

I

219

P

220

T

221

I

222

O

223

N

224

"

225

:

226

227

"

228

A

229

D

230

I

231

C

232

I

233

O

234

N

235

E

236

237

A

238

S

239

240

C

241

O

242

N

243

F

244

I

245

G

246

U

247

R

248

A

249

Ç

250

Õ

251

E

252

S

253

254

D

255

E

256

257

P

258

R

259

O

260

X

261

Y

262

263

A

264

O

265

266

S

267

E

268

T

269

T

270

I

271

N

272

G

273

S

274

.

275

P

276

Y

277

278

D

279

O

280

281

S

282

E

283

U

284

285

P

286

R

287

O

288

J

289

E

290

T

291

O

292

"

293

,

294

295

"

296

C

297

O

298

D

299

E

300

"

301

:

302

303

"

304

#

305

306

S

307

E

308

T

309

T

310

I

311

N

312

G

313

S

314

.

315

P

316

Y

317

\

318

N

319

H

320

T

321

T

322

P

323

P

324

R

325

O

326

X

327

Y

328

_

329

E

330

N

331

A

332

B

333

L

334

E

335

D

336

337

=

338

339

T

340

R

341

U

342

E

343

\

344

N

345

D

346

O

347

W

348

N

349

L

350

O

351

A

352

D

353

E

354

R

355

_

356

M

357

I

358

D

359

D

360

L

361

E

362

W

363

A

364

R

365

E

366

S

367

368

=

369

370

{

371

\

372

N

373

374

375

376

377

'

378

M

379

Y

380

P

381

R

382

O

383

J

384

E

385

C

386

T

387

.

388

M

389

I

390

D

391

D

392

L

393

E

394

W

395

A

396

R

397

E

398

S

399

.

400

G

401

P

402

R

403

O

404

X

405

Y

406

M

407

I

408

D

409

D

410

L

411

E

412

W

413

A

414

R

415

E

416

'

417

:

418

419

3

420

5

421

0

422

,

423

\

424

N

425

426

427

428

429

'

430

S

431

C

432

R

433

A

434

P

435

Y

436

.

437

D

438

O

439

W

440

N

441

L

442

O

443

A

444

D

445

E

446

R

447

M

448

I

449

D

450

D

451

L

452

E

453

W

454

A

455

R

456

E

457

S

458

.

459

H

460

T

461

T

462

P

463

P

464

R

465

O

466

X

467

Y

468

.

469

H

470

T

471

T

472

P

473

P

474

R

475

O

476

X

477

Y

478

M

479

I

480

D

481

D

482

L

483

E

484

W

485

A

486

R

487

E

488

'

489

:

490

491

4

492

0

493

0

494

,

495

\

496

N

497

}

498

"

499

}

500

,

501

502

{

503

"

504

T

505

I

506

T

507

L

508

E

509

"

510

:

511

512

"

513

C

514

R

515

I

516

E

517

518

O

519

520

M

521

I

522

D

523

D

524

L

525

E

526

W

527

A

528

R

529

E

530

531

D

532

E

533

534

P

535

R

536

O

537

X

538

Y

539

"

540

,

541

542

"

543

D

544

E

545

S

546

C

547

R

548

I

549

P

550

T

551

I

552

O

553

N

554

"

555

:

556

557

"

558

C

559

R

560

I

561

E

562

563

U

564

M

565

566

M

567

I

568

D

569

D

570

L

571

E

572

W

573

A

574

R

575

E

576

577

P

578

E

579

R

580

S

581

O

582

N

583

A

584

L

585

I

586

Z

587

A

588

D

589

O

590

591

E

592

M

593

594

M

595

I

596

D

597

D

598

L

599

E

600

W

601

A

602

R

603

E

604

S

605

.

606

P

607

Y

608

"

609

,

610

611

"

612

C

613

O

614

D

615

E

616

"

617

:

618

619

"

620

C

621

L

622

A

623

S

624

S

625

626

G

627

P

628

R

629

O

630

X

631

Y

632

M

633

I

634

D

635

D

636

L

637

E

638

W

639

A

640

R

641

E

642

:

643

\

644

N

645

646

647

648

649

D

650

E

651

F

652

653

P

654

R

655

O

656

C

657

E

658

S

659

S

660

_

661

R

662

E

663

Q

664

U

665

E

666

S

667

T

668

(

669

S

670

E

671

L

672

F

673

,

674

675

R

676

E

677

Q

678

U

679

E

680

S

681

T

682

,

683

684

S

685

P

686

I

687

D

688

E

689

R

690

)

691

:

692

\

693

N

694

695

696

697

698

699

700

701

702

P

703

R

704

O

705

X

706

Y

707

708

=

709

710

'

711

H

712

T

713

T

714

P

715

:

716

/

717

/

718

U

719

S

720

E

721

R

722

:

723

P

724

A

725

S

726

S

727

@

728

P

729

R

730

O

731

X

732

Y

733

.

734

G

735

P

736

R

737

O

738

X

739

Y

740

.

741

N

742

E

743

T

744

:

745

1

746

0

747

0

748

0

749

'

750

\

751

N

752

753

754

755

756

757

758

759

760

R

761

E

762

Q

763

U

764

E

765

S

766

T

767

.

768

M

769

E

770

T

771

A

772

[

773

'

774

P

775

R

776

O

777

X

778

Y

779

'

780

]

781

782

=

783

784

P

785

R

786

O

787

X

788

Y

789

"

790

}

791

,

792

793

{

794

"

795

T

796

I

797

T

798

L

799

E

800

"

801

:

802

803

"

804

A

805

D

806

I

807

C

808

I

809

O

810

N

811

E

812

813

S

814

U

815

P

816

O

817

R

818

T

819

E

820

821

À

822

823

R

824

O

825

T

826

A

827

Ç

828

Ã

829

O

830

"

831

,

832

833

"

834

D

835

E

836

S

837

C

838

R

839

I

840

P

841

T

842

I

843

O

844

N

845

"

846

:

847

848

"

849

P

850

A

851

R

852

A

853

854

R

855

O

856

T

857

A

858

Ç

859

Ã

860

O

861

862

A

863

U

864

T

865

O

866

M

867

Á

868

T

869

I

870

C

871

A

872

873

D

874

E

875

876

I

877

P

878

,

879

880

U

881

S

882

E

883

884

O

885

886

E

887

N

888

D

889

P

890

O

891

I

892

N

893

T

894

895

B

896

A

897

C

898

K

899

C

900

O

901

N

902

N

903

E

904

C

905

T

906

"

907

,

908

909

"

910

C

911

O

912

D

913

E

914

"

915

:

916

917

"

918

C

919

L

920

A

921

S

922

S

923

924

G

925

P

926

R

927

O

928

X

929

Y

930

R

931

O

932

T

933

A

934

T

935

I

936

N

937

G

938

M

939

I

940

D

941

D

942

L

943

E

944

W

945

A

946

R

947

E

948

:

949

\

950

N

951

952

953

954

955

D

956

E

957

F

958

959

P

960

R

961

O

962

C

963

E

964

S

965

S

966

_

967

R

968

E

969

Q

970

U

971

E

972

S

973

T

974

(

975

S

976

E

977

L

978

F

979

,

980

981

R

982

E

983

Q

984

U

985

E

986

S

987

T

988

,

989

990

S

991

P

992

I

993

D

994

E

995

R

996

)

997

:

998

\

999

N

1000

1001

1002

1003

1004

1005

1006

1007

1008

R

1009

E

1010

Q

1011

U

1012

E

1013

S

1014

T

1015

.

1016

M

1017

E

1018

T

1019

A

1020

[

1021

'

1022

P

1023

R

1024

O

1025

X

1026

Y

1027

'

1028

]

1029

1030

=

1031

1032

'

1033

H

1034

T

1035

T

1036

P

1037

:

1038

/

1039

/

1040

U

1041

S

1042

E

1043

R

1044

-

1045

C

1046

O

1047

U

1048

N

1049

T

1050

R

1051

Y

1052

-

1053

U

1054

S

1055

:

1056

P

1057

A

1058

S

1059

S

1060

@

1061

P

1062

R

1063

O

1064

X

1065

Y

1066

.

1067

G

1068

P

1069

R

1070

O

1071

X

1072

Y

1073

.

1074

N

1075

E

1076

T

1077

:

1078

1

1079

0

1080

0

1081

0

1082

'

1083

\

1084

N

1085

\

1086

N

1087

1088

1089

1090

1091

D

1092

E

1093

F

1094

1095

P

1096

R

1097

O

1098

C

1099

E

1100

S

1101

S

1102

_

1103

E

1104

X

1105

C

1106

E

1107

P

1108

T

1109

I

1110

O

1111

N

1112

(

1113

S

1114

E

1115

L

1116

F

1117

,

1118

1119

R

1120

E

1121

Q

1122

U

1123

E

1124

S

1125

T

1126

,

1127

1128

E

1129

X

1130

C

1131

E

1132

P

1133

T

1134

I

1135

O

1136

N

1137

,

1138

1139

S

1140

P

1141

I

1142

D

1143

E

1144

R

1145

)

1146

:

1147

\

1148

N

1149

1150

1151

1152

1153

1154

1155

1156

1157

R

1158

E

1159

T

1160

U

1161

R

1162

N

1163

1164

R

1165

E

1166

Q

1167

U

1168

E

1169

S

1170

T

1171

1172

1173

#

1174

1175

T

1176

E

1177

N

1178

T

1179

A

1180

1181

D

1182

E

1183

1184

N

1185

O

1186

V

1187

O

1188

1189

C

1190

O

1191

M

1192

1193

U

1194

M

1195

1196

N

1197

O

1198

V

1199

O

1200

1201

I

1202

P

1203

"

1204

}

1205

,

1206

1207

{

1208

"

1209

T

1210

I

1211

T

1212

L

1213

E

1214

"

1215

:

1216

1217

"

1218

C

1219

O

1220

N

1221

F

1222

I

1223

G

1224

U

1225

R

1226

E

1227

1228

A

1229

S

1230

1231

R

1232

E

1233

T

1234

E

1235

N

1236

T

1237

A

1238

T

1239

I

1240

V

1241

A

1242

S

1243

"

1244

,

1245

1246

"

1247

D

1248

E

1249

S

1250

C

1251

R

1252

I

1253

P

1254

T

1255

I

1256

O

1257

N

1258

"

1259

:

1260

1261

"

1262

A

1263

D

1264

I

1265

C

1266

I

1267

O

1268

N

1269

E

1270

1271

A

1272

1273

C

1274

O

1275

N

1276

F

1277

I

1278

G

1279

U

1280

R

1281

A

1282

Ç

1283

Ã

1284

O

1285

1286

D

1287

E

1288

1289

R

1290

E

1291

T

1292

R

1293

Y

1294

1295

P

1296

A

1297

R

1298

A

1299

1300

M

1301

A

1302

I

1303

S

1304

1305

C

1306

O

1307

N

1308

F

1309

I

1310

A

1311

B

1312

I

1313

L

1314

I

1315

D

1316

A

1317

D

1318

E

1319

"

1320

,

1321

1322

"

1323

C

1324

O

1325

D

1326

E

1327

"

1328

:

1329

1330

"

1331

#

1332

1333

S

1334

E

1335

T

1336

T

1337

I

1338

N

1339

G

1340

S

1341

.

1342

P

1343

Y

1344

\

1345

N

1346

R

1347

E

1348

T

1349

R

1350

Y

1351

_

1352

E

1353

N

1354

A

1355

B

1356

L

1357

E

1358

D

1359

1360

=

1361

1362

T

1363

R

1364

U

1365

E

1366

\

1367

N

1368

R

1369

E

1370

T

1371

R

1372

Y

1373

_

1374

T

1375

I

1376

M

1377

E

1378

S

1379

1380

=

1381

1382

5

1383

\

1384

N

1385

R

1386

E

1387

T

1388

R

1389

Y

1390

_

1391

H

1392

T

1393

T

1394

P

1395

_

1396

C

1397

O

1398

D

1399

E

1400

S

1401

1402

=

1403

1404

[

1405

4

1406

0

1407

3

1408

,

1409

1410

4

1411

0

1412

7

1413

,

1414

1415

4

1416

2

1417

9

1418

,

1419

1420

5

1421

0

1422

0

1423

,

1424

1425

5

1426

0

1427

2

1428

,

1429

1430

5

1431

0

1432

3

1433

]

1434

\

1435

N

1436

D

1437

O

1438

W

1439

N

1440

L

1441

O

1442

A

1443

D

1444

_

1445

T

1446

I

1447

M

1448

E

1449

O

1450

U

1451

T

1452

1453

=

1454

1455

3

1456

0

1457

"

1458

}

1459

,

1460

1461

{

1462

"

1463

T

1464

I

1465

T

1466

L

1467

E

1468

"

1469

:

1470

1471

"

1472

E

1473

X

1474

E

1475

C

1476

U

1477

T

1478

E

1479

1480

O

1481

1482

S

1483

E

1484

U

1485

1486

S

1487

P

1488

I

1489

D

1490

E

1491

R

1492

"

1493

,

1494

1495

"

1496

D

1497

E

1498

S

1499

C

1500

R

1501

I

1502

P

1503

T

1504

I

1505

O

1506

N

1507

"

1508

:

1509

1510

"

1511

T

1512

E

1513

S

1514

T

1515

E

1516

1517

A

1518

1519

C

1520

O

1521

N

1522

F

1523

I

1524

G

1525

U

1526

R

1527

A

1528

Ç

1529

Ã

1530

O

1531

1532

D

1533

E

1534

1535

P

1536

R

1537

O

1538

X

1539

Y

1540

"

1541

,

1542

1543

"

1544

C

1545

O

1546

D

1547

E

1548

"

1549

:

1550

1551

"

1552

S

1553

C

1554

R

1555

A

1556

P

1557

Y

1558

1559

C

1560

R

1561

A

1562

W

1563

L

1564

1565

M

1566

Y

1567

S

1568

P

1569

I

1570

D

1571

E

1572

R

1573

1574

-

1575

O

1576

1577

O

1578

U

1579

T

1580

P

1581

U

1582

T

1583

.

1584

J

1585

S

1586

O

1587

N

1588

"

1589

}

1590

]

Exemplos de código

Por que usar proxies com o Scrapy?

O Scrapy é o framework de web scraping em Python mais popular, movendo milhões de jobs de crawling por dia. Ao coletar dados em escala, você inevitavelmente vai enfrentar bloqueios de IP, CAPTCHAs e limites de taxa. O pool de proxies residenciais da GProxy, com 10M+ IPs em 150+ países, resolve esses problemas rotacionando o seu IP de saída automaticamente.

Métodos de autenticação de proxy

A GProxy suporta dois métodos de autenticação com o Scrapy: autenticação por usuário/senha através da URL do proxy, e autenticação por whitelist de IP, na qual você adiciona o IP do seu servidor no painel da GProxy. Ambos funcionam sem atrito com o suporte a proxy nativo do Scrapy.

Configuração básica de proxy

A forma mais simples de usar proxies GProxy no Scrapy é pelo arquivo settings.py. Defina as variáveis de ambiente HTTP_PROXY e HTTPS_PROXY, ou configure-as diretamente nos custom settings do seu spider. Para proxies rotativos, use um downloader middleware personalizado que atribua uma nova URL de proxy por requisição.

Middleware personalizado de rotação de proxy

Para scraping em produção, um middleware personalizado dá controle total sobre a atribuição de proxies. O middleware intercepta cada requisição antes do envio, atribui um endpoint de proxy com parâmetros de rotação e trata erros relacionados ao proxy, como timeouts ou falhas de autenticação 407. O endpoint backconnect da GProxy faz a rotação no lado do servidor, então cada conexão pelo mesmo endpoint recebe um IP diferente.

Tratamento de erros e retentativas

Scraping robusto exige tratamento de erros adequado. Configure o retry middleware do Scrapy para funcionar junto com o seu setup de proxy: refaça a requisição nos códigos 403, 407, 429 e 503, e defina um número razoável de tentativas (3 a 5). As sessões sticky da GProxy permitem manter o mesmo IP entre as retentativas quando necessário — útil para fluxos de várias páginas.

Requisições concorrentes e desempenho

O Scrapy é excelente em scraping concorrente, e a infraestrutura da GProxy lida bem com alta concorrência. Comece com CONCURRENT_REQUESTS = 32 e DOWNLOAD_DELAY = 0.5 e depois ajuste conforme o comportamento do site alvo. Com proxies residenciais da GProxy, normalmente é possível rodar de 50 a 100 requisições concorrentes sem problemas.

Geo-targeting com o Scrapy

A GProxy suporta segmentação por país e por cidade. Passe o país alvo como parte das credenciais do proxy (por exemplo, user-country-us) para rotear as requisições por IPs daquela localidade. Isso é essencial para coletar conteúdo com restrição geográfica ou resultados de busca localizados.

Casos de uso

[

{

"

T

I

T

L

E

"

:

"

M

O

N

I

T

O

R

A

M

E

N

T

O

D

E

P

R

E

Ç

O

S

E

M

E

-

C

O

M

E

R

C

E

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

C

O

L

E

T

E

P

R

E

Ç

O

S

D

E

P

R

O

D

U

T

O

S

E

M

V

Á

R

I

O

S

V

A

R

E

J

I

S

T

A

S

C

O

M

P

R

O

X

I

E

S

G

E

O

-

S

E

G

M

E

N

T

A

D

O

S

P

A

R

A

V

E

R

O

S

P

R

E

Ç

O

S

L

O

C

A

L

I

Z

A

D

O

S

.

"

}

,

{

"

T

I

T

L

E

"

:

"

A

C

O

M

P

A

N

H

A

M

E

N

T

O

D

E

S

E

R

P

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

M

O

N

I

T

O

R

E

P

O

S

I

Ç

Õ

E

S

E

M

B

U

S

C

A

D

O

R

E

S

A

P

A

R

T

I

R

D

E

D

I

F

E

R

E

N

T

E

S

L

O

C

A

L

I

D

A

D

E

S

U

S

A

N

D

O

I

P

S

R

E

S

I

D

E

N

C

I

A

I

S

P

O

R

P

A

Í

S

.

"

}

,

{

"

T

I

T

L

E

"

:

"

G

E

R

A

Ç

Ã

O

D

E

L

E

A

D

S

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

E

X

T

R

A

I

A

L

I

S

T

A

G

E

N

S

D

E

M

P

R

E

S

A

S

E

D

A

D

O

S

D

E

C

O

N

T

A

T

O

E

M

E

S

C

A

L

A

C

O

M

I

P

S

R

O

T

A

T

I

V

O

S

P

A

R

A

E

V

I

T

A

R

D

E

T

E

C

Ç

Ã

O

.

"

}

,

{

"

T

I

T

L

E

"

:

"

A

G

R

E

G

A

Ç

Ã

O

D

E

C

O

N

T

E

Ú

D

O

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

R

E

Ú

N

A

R

T

I

G

O

S

,

A

V

A

L

I

A

Ç

Õ

E

S

E

A

N

Ú

N

C

I

O

S

D

E

V

Á

R

I

A

S

F

O

N

T

E

S

C

O

M

R

O

T

A

Ç

Ã

O

D

E

P

R

O

X

Y

C

O

N

F

I

Á

V

E

L

.

"

}

]

Dicas Pro

Use AUTOTHROTTLE_ENABLED = True para ajuste automático de taxa. Defina CONCURRENT_REQUESTS_PER_DOMAIN para limitar a carga por site. Ative o cache HTTP durante o desenvolvimento para não queimar banda de proxy. Use o pacote scrapy-rotating-proxies para gerenciamento avançado do pool.