Scrapy ile proxy kullanımı: kapsamlı rehber

TL;DR

GProxy residential ve veri merkezi proxy'lerini büyük ölçekli web scraping için Scrapy ile nasıl yapılandıracağınızı öğrenin. Middleware kurulumu, proxy rotasyonu ve hata yönetimi anlatılır.

Proxy al → Scrapy web sitesi →

Dil: Python

Ön koşullar

✓[
✓"
✓P
✓y
✓t
✓h
✓o
✓n
✓
✓3
✓.
✓8
✓+
✓
✓k
✓u
✓r
✓u
✓l
✓u
✓
✓o
✓l
✓m
✓a
✓l
✓ı
✓"
✓,
✓
✓"
✓S
✓c
✓r
✓a
✓p
✓y
✓
✓2
✓.
✓x
✓
✓k
✓u
✓r
✓u
✓l
✓u
✓
✓o
✓l
✓m
✓a
✓l
✓ı
✓
✓(
✓p
✓i
✓p
✓
✓i
✓n
✓s
✓t
✓a
✓l
✓l
✓
✓s
✓c
✓r
✓a
✓p
✓y
✓)
✓"
✓,
✓
✓"
✓A
✓k
✓t
✓i
✓f
✓
✓p
✓r
✓o
✓x
✓y
✓
✓p
✓a
✓k
✓e
✓t
✓i
✓
✓o
✓l
✓a
✓n
✓
✓b
✓i
✓r
✓
✓G
✓P
✓r
✓o
✓x
✓y
✓
✓h
✓e
✓s
✓a
✓b
✓ı
✓"
✓,
✓
✓"
✓S
✓c
✓r
✓a
✓p
✓y
✓
✓s
✓p
✓i
✓d
✓e
✓r
✓'
✓l
✓a
✓r
✓ı
✓
✓v
✓e
✓
✓a
✓y
✓a
✓r
✓l
✓a
✓r
✓ı
✓
✓h
✓a
✓k
✓k
✓ı
✓n
✓d
✓a
✓
✓t
✓e
✓m
✓e
✓l
✓
✓b
✓i
✓l
✓g
✓i
✓"
✓]

Adım adım kurulum

[

{

"

T

I

T

L

E

"

:

"

S

C

R

A

P

Y

'

Y

I

K

U

R

U

N

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

S

C

R

A

P

Y

'

Y

I

K

U

R

U

N

V

E

Y

E

N

I

B

I

R

P

R

O

J

E

O

L

U

Ş

T

U

R

U

N

"

,

"

C

O

D

E

"

:

100

101

"

102

P

103

I

104

P

105

106

I

107

N

108

S

109

T

110

A

111

L

112

L

113

114

S

115

C

116

R

117

A

118

P

119

Y

120

\

121

N

122

S

123

C

124

R

125

A

126

P

127

Y

128

129

S

130

T

131

A

132

R

133

T

134

P

135

R

136

O

137

J

138

E

139

C

140

T

141

142

M

143

Y

144

P

145

R

146

O

147

J

148

E

149

C

150

T

151

\

152

N

153

C

154

D

155

156

M

157

Y

158

P

159

R

160

O

161

J

162

E

163

C

164

T

165

"

166

}

167

,

168

169

{

170

"

171

T

172

I

173

T

174

L

175

E

176

"

177

:

178

179

"

180

S

181

E

182

T

183

T

184

I

185

N

186

G

187

S

188

.

189

P

190

Y

191

192

I

193

Ç

194

I

195

N

196

D

197

E

198

199

P

200

R

201

O

202

X

203

Y

204

'

205

Y

206

I

207

208

Y

209

A

210

P

211

I

212

L

213

A

214

N

215

D

216

I

217

R

218

I

219

N

220

"

221

,

222

223

"

224

D

225

E

226

S

227

C

228

R

229

I

230

P

231

T

232

I

233

O

234

N

235

"

236

:

237

238

"

239

P

240

R

241

O

242

J

243

E

244

N

245

I

246

Z

247

I

248

N

249

250

S

251

E

252

T

253

T

254

I

255

N

256

G

257

S

258

.

259

P

260

Y

261

262

D

263

O

264

S

265

Y

266

A

267

S

268

I

269

N

270

A

271

272

P

273

R

274

O

275

X

276

Y

277

278

A

279

Y

280

A

281

R

282

L

283

A

284

R

285

I

286

N

287

I

288

289

E

290

K

291

L

292

E

293

Y

294

I

295

N

296

"

297

,

298

299

"

300

C

301

O

302

D

303

E

304

"

305

:

306

307

"

308

#

309

310

S

311

E

312

T

313

T

314

I

315

N

316

G

317

S

318

.

319

P

320

Y

321

\

322

N

323

H

324

T

325

T

326

P

327

P

328

R

329

O

330

X

331

Y

332

_

333

E

334

N

335

A

336

B

337

L

338

E

339

D

340

341

=

342

343

T

344

R

345

U

346

E

347

\

348

N

349

D

350

O

351

W

352

N

353

L

354

O

355

A

356

D

357

E

358

R

359

_

360

M

361

I

362

D

363

D

364

L

365

E

366

W

367

A

368

R

369

E

370

S

371

372

=

373

374

{

375

\

376

N

377

378

379

380

381

'

382

M

383

Y

384

P

385

R

386

O

387

J

388

E

389

C

390

T

391

.

392

M

393

I

394

D

395

D

396

L

397

E

398

W

399

A

400

R

401

E

402

S

403

.

404

G

405

P

406

R

407

O

408

X

409

Y

410

M

411

I

412

D

413

D

414

L

415

E

416

W

417

A

418

R

419

E

420

'

421

:

422

423

3

424

5

425

0

426

,

427

\

428

N

429

430

431

432

433

'

434

S

435

C

436

R

437

A

438

P

439

Y

440

.

441

D

442

O

443

W

444

N

445

L

446

O

447

A

448

D

449

E

450

R

451

M

452

I

453

D

454

D

455

L

456

E

457

W

458

A

459

R

460

E

461

S

462

.

463

H

464

T

465

T

466

P

467

P

468

R

469

O

470

X

471

Y

472

.

473

H

474

T

475

T

476

P

477

P

478

R

479

O

480

X

481

Y

482

M

483

I

484

D

485

D

486

L

487

E

488

W

489

A

490

R

491

E

492

'

493

:

494

495

4

496

0

497

0

498

,

499

\

500

N

501

}

502

"

503

}

504

,

505

506

{

507

"

508

T

509

I

510

T

511

L

512

E

513

"

514

:

515

516

"

517

P

518

R

519

O

520

X

521

Y

522

523

M

524

I

525

D

526

D

527

L

528

E

529

W

530

A

531

R

532

E

533

'

534

I

535

536

O

537

L

538

U

539

Ş

540

T

541

U

542

R

543

U

544

N

545

"

546

,

547

548

"

549

D

550

E

551

S

552

C

553

R

554

I

555

P

556

T

557

I

558

O

559

N

560

"

561

:

562

563

"

564

M

565

I

566

D

567

D

568

L

569

E

570

W

571

A

572

R

573

E

574

S

575

.

576

P

577

Y

578

579

I

580

Ç

581

I

582

N

583

D

584

E

585

586

Ö

587

Z

588

E

589

L

590

591

B

592

I

593

R

594

595

M

596

I

597

D

598

D

599

L

600

E

601

W

602

A

603

R

604

E

605

606

O

607

L

608

U

609

Ş

610

T

611

U

612

R

613

U

614

N

615

"

616

,

617

618

"

619

C

620

O

621

D

622

E

623

"

624

:

625

626

"

627

C

628

L

629

A

630

S

631

S

632

633

G

634

P

635

R

636

O

637

X

638

Y

639

M

640

I

641

D

642

D

643

L

644

E

645

W

646

A

647

R

648

E

649

:

650

\

651

N

652

653

654

655

656

D

657

E

658

F

659

660

P

661

R

662

O

663

C

664

E

665

S

666

S

667

_

668

R

669

E

670

Q

671

U

672

E

673

S

674

T

675

(

676

S

677

E

678

L

679

F

680

,

681

682

R

683

E

684

Q

685

U

686

E

687

S

688

T

689

,

690

691

S

692

P

693

I

694

D

695

E

696

R

697

)

698

:

699

\

700

N

701

702

703

704

705

706

707

708

709

P

710

R

711

O

712

X

713

Y

714

715

=

716

717

'

718

H

719

T

720

T

721

P

722

:

723

/

724

/

725

U

726

S

727

E

728

R

729

:

730

P

731

A

732

S

733

S

734

@

735

P

736

R

737

O

738

X

739

Y

740

.

741

G

742

P

743

R

744

O

745

X

746

Y

747

.

748

N

749

E

750

T

751

:

752

1

753

0

754

0

755

0

756

'

757

\

758

N

759

760

761

762

763

764

765

766

767

R

768

E

769

Q

770

U

771

E

772

S

773

T

774

.

775

M

776

E

777

T

778

A

779

[

780

'

781

P

782

R

783

O

784

X

785

Y

786

'

787

]

788

789

=

790

791

P

792

R

793

O

794

X

795

Y

796

"

797

}

798

,

799

800

{

801

"

802

T

803

I

804

T

805

L

806

E

807

"

808

:

809

810

"

811

R

812

O

813

T

814

A

815

S

816

Y

817

O

818

N

819

820

D

821

E

822

S

823

T

824

E

825

Ğ

826

I

827

828

E

829

K

830

L

831

E

832

Y

833

I

834

N

835

"

836

,

837

838

"

839

D

840

E

841

S

842

C

843

R

844

I

845

P

846

T

847

I

848

O

849

N

850

"

851

:

852

853

"

854

O

855

T

856

O

857

M

858

A

859

T

860

I

861

K

862

863

I

864

P

865

866

R

867

O

868

T

869

A

870

S

871

Y

872

O

873

N

874

U

875

876

I

877

Ç

878

I

879

N

880

881

B

882

A

883

C

884

K

885

C

886

O

887

N

888

N

889

E

890

C

891

T

892

893

E

894

N

895

D

896

P

897

O

898

I

899

N

900

T

901

'

902

I

903

N

904

I

905

906

K

907

U

908

L

909

L

910

A

911

N

912

I

913

N

914

"

915

,

916

917

"

918

C

919

O

920

D

921

E

922

"

923

:

924

925

"

926

C

927

L

928

A

929

S

930

S

931

932

G

933

P

934

R

935

O

936

X

937

Y

938

R

939

O

940

T

941

A

942

T

943

I

944

N

945

G

946

M

947

I

948

D

949

D

950

L

951

E

952

W

953

A

954

R

955

E

956

:

957

\

958

N

959

960

961

962

963

D

964

E

965

F

966

967

P

968

R

969

O

970

C

971

E

972

S

973

S

974

_

975

R

976

E

977

Q

978

U

979

E

980

S

981

T

982

(

983

S

984

E

985

L

986

F

987

,

988

989

R

990

E

991

Q

992

U

993

E

994

S

995

T

996

,

997

998

S

999

P

1000

I

1001

D

1002

E

1003

R

1004

)

1005

:

1006

\

1007

N

1008

1009

1010

1011

1012

1013

1014

1015

1016

R

1017

E

1018

Q

1019

U

1020

E

1021

S

1022

T

1023

.

1024

M

1025

E

1026

T

1027

A

1028

[

1029

'

1030

P

1031

R

1032

O

1033

X

1034

Y

1035

'

1036

]

1037

1038

=

1039

1040

'

1041

H

1042

T

1043

T

1044

P

1045

:

1046

/

1047

/

1048

U

1049

S

1050

E

1051

R

1052

-

1053

C

1054

O

1055

U

1056

N

1057

T

1058

R

1059

Y

1060

-

1061

U

1062

S

1063

:

1064

P

1065

A

1066

S

1067

S

1068

@

1069

P

1070

R

1071

O

1072

X

1073

Y

1074

.

1075

G

1076

P

1077

R

1078

O

1079

X

1080

Y

1081

.

1082

N

1083

E

1084

T

1085

:

1086

1

1087

0

1088

0

1089

0

1090

'

1091

\

1092

N

1093

\

1094

N

1095

1096

1097

1098

1099

D

1100

E

1101

F

1102

1103

P

1104

R

1105

O

1106

C

1107

E

1108

S

1109

S

1110

_

1111

E

1112

X

1113

C

1114

E

1115

P

1116

T

1117

I

1118

O

1119

N

1120

(

1121

S

1122

E

1123

L

1124

F

1125

,

1126

1127

R

1128

E

1129

Q

1130

U

1131

E

1132

S

1133

T

1134

,

1135

1136

E

1137

X

1138

C

1139

E

1140

P

1141

T

1142

I

1143

O

1144

N

1145

,

1146

1147

S

1148

P

1149

I

1150

D

1151

E

1152

R

1153

)

1154

:

1155

\

1156

N

1157

1158

1159

1160

1161

1162

1163

1164

1165

R

1166

E

1167

T

1168

U

1169

R

1170

N

1171

1172

R

1173

E

1174

Q

1175

U

1176

E

1177

S

1178

T

1179

1180

1181

#

1182

1183

Y

1184

E

1185

N

1186

I

1187

1188

I

1189

P

1190

1191

I

1192

L

1193

E

1194

1195

Y

1196

E

1197

N

1198

I

1199

D

1200

E

1201

N

1202

1203

D

1204

E

1205

N

1206

E

1207

"

1208

}

1209

,

1210

1211

{

1212

"

1213

T

1214

I

1215

T

1216

L

1217

E

1218

"

1219

:

1220

1221

"

1222

R

1223

E

1224

T

1225

R

1226

Y

1227

1228

A

1229

Y

1230

A

1231

R

1232

L

1233

A

1234

R

1235

I

1236

N

1237

I

1238

1239

Y

1240

A

1241

P

1242

I

1243

N

1244

"

1245

,

1246

1247

"

1248

D

1249

E

1250

S

1251

C

1252

R

1253

I

1254

P

1255

T

1256

I

1257

O

1258

N

1259

"

1260

:

1261

1262

"

1263

G

1264

Ü

1265

V

1266

E

1267

N

1268

I

1269

L

1270

I

1271

R

1272

L

1273

I

1274

K

1275

1276

I

1277

Ç

1278

I

1279

N

1280

1281

R

1282

E

1283

T

1284

R

1285

Y

1286

1287

Y

1288

A

1289

P

1290

I

1291

L

1292

A

1293

N

1294

D

1295

I

1296

R

1297

M

1298

A

1299

S

1300

I

1301

N

1302

I

1303

1304

E

1305

K

1306

L

1307

E

1308

Y

1309

I

1310

N

1311

"

1312

,

1313

1314

"

1315

C

1316

O

1317

D

1318

E

1319

"

1320

:

1321

1322

"

1323

#

1324

1325

S

1326

E

1327

T

1328

T

1329

I

1330

N

1331

G

1332

S

1333

.

1334

P

1335

Y

1336

\

1337

N

1338

R

1339

E

1340

T

1341

R

1342

Y

1343

_

1344

E

1345

N

1346

A

1347

B

1348

L

1349

E

1350

D

1351

1352

=

1353

1354

T

1355

R

1356

U

1357

E

1358

\

1359

N

1360

R

1361

E

1362

T

1363

R

1364

Y

1365

_

1366

T

1367

I

1368

M

1369

E

1370

S

1371

1372

=

1373

1374

5

1375

\

1376

N

1377

R

1378

E

1379

T

1380

R

1381

Y

1382

_

1383

H

1384

T

1385

T

1386

P

1387

_

1388

C

1389

O

1390

D

1391

E

1392

S

1393

1394

=

1395

1396

[

1397

4

1398

0

1399

3

1400

,

1401

1402

4

1403

0

1404

7

1405

,

1406

1407

4

1408

2

1409

9

1410

,

1411

1412

5

1413

0

1414

0

1415

,

1416

1417

5

1418

0

1419

2

1420

,

1421

1422

5

1423

0

1424

3

1425

]

1426

\

1427

N

1428

D

1429

O

1430

W

1431

N

1432

L

1433

O

1434

A

1435

D

1436

_

1437

T

1438

I

1439

M

1440

E

1441

O

1442

U

1443

T

1444

1445

=

1446

1447

3

1448

0

1449

"

1450

}

1451

,

1452

1453

{

1454

"

1455

T

1456

I

1457

T

1458

L

1459

E

1460

"

1461

:

1462

1463

"

1464

S

1465

P

1466

I

1467

D

1468

E

1469

R

1470

'

1471

I

1472

N

1473

I

1474

Z

1475

I

1476

1477

Ç

1478

A

1479

L

1480

I

1481

Ş

1482

T

1483

I

1484

R

1485

I

1486

N

1487

"

1488

,

1489

1490

"

1491

D

1492

E

1493

S

1494

C

1495

R

1496

I

1497

P

1498

T

1499

I

1500

O

1501

N

1502

"

1503

:

1504

1505

"

1506

P

1507

R

1508

O

1509

X

1510

Y

1511

1512

Y

1513

A

1514

P

1515

I

1516

L

1517

A

1518

N

1519

D

1520

I

1521

R

1522

M

1523

A

1524

S

1525

I

1526

N

1527

I

1528

1529

T

1530

E

1531

S

1532

T

1533

1534

E

1535

D

1536

I

1537

N

1538

"

1539

,

1540

1541

"

1542

C

1543

O

1544

D

1545

E

1546

"

1547

:

1548

1549

"

1550

S

1551

C

1552

R

1553

A

1554

P

1555

Y

1556

1557

C

1558

R

1559

A

1560

W

1561

L

1562

1563

M

1564

Y

1565

S

1566

P

1567

I

1568

D

1569

E

1570

R

1571

1572

-

1573

O

1574

1575

O

1576

U

1577

T

1578

P

1579

U

1580

T

1581

.

1582

J

1583

S

1584

O

1585

N

1586

"

1587

}

1588

]

Kod örnekleri

Scrapy ile neden proxy kullanmalısınız?

Scrapy, günde milyonlarca tarama işini çalıştıran en popüler Python web scraping framework'üdür. Ölçekli veri toplarken kaçınılmaz olarak IP engelleriyle, CAPTCHA'larla ve hız limitleriyle karşılaşırsınız. GProxy'nin 150+ ülkede 10M+ IP içeren residential proxy havuzu, çıkış IP'nizi otomatik olarak rotasyona sokarak bu sorunları çözer.

Proxy kimlik doğrulama yöntemleri

GProxy, Scrapy ile iki kimlik doğrulama yöntemini destekler: proxy URL'i üzerinden kullanıcı adı/parola doğrulaması ve sunucunuzun IP'sini GProxy panelinden eklediğiniz IP whitelist doğrulaması. Her ikisi de Scrapy'nin yerleşik proxy desteğiyle sorunsuz çalışır.

Temel proxy yapılandırması

GProxy proxy'lerini Scrapy'ye eklemenin en basit yolu settings.py dosyasıdır. HTTP_PROXY ve HTTPS_PROXY ortam değişkenlerini tanımlayın ya da bunları doğrudan spider'ınızın custom settings bölümünde yapılandırın. Rotasyonlu proxy'ler için, her isteğe yeni bir proxy URL'i atayan özel bir downloader middleware kullanın.

Özel proxy rotasyon middleware'i

Üretim ortamındaki scraping için özel bir middleware, proxy atamasında tam kontrol sağlar. Middleware her isteği gönderilmeden önce yakalar, rotasyon parametreleriyle bir proxy endpoint'i atar ve timeout veya 407 kimlik doğrulama hatası gibi proxy kaynaklı hataları yönetir. GProxy'nin backconnect endpoint'i rotasyonu sunucu tarafında yapar; böylece aynı endpoint üzerinden kurulan her bağlantı farklı bir IP alır.

Hata yönetimi ve yeniden denemeler

Sağlam bir scraping için düzgün hata yönetimi şarttır. Scrapy'nin retry middleware'ini proxy kurulumunuzla uyumlu yapılandırın: 403, 407, 429 ve 503 durum kodlarında yeniden deneyin ve makul bir deneme sayısı belirleyin (3-5). GProxy'nin sticky oturumları, gerektiğinde yeniden denemeler boyunca aynı IP'yi korumanızı sağlar — çok sayfalı akışlar için kullanışlıdır.

Eşzamanlı istekler ve performans

Scrapy eşzamanlı scraping'de çok başarılıdır ve GProxy altyapısı yüksek eşzamanlılığı iyi kaldırır. CONCURRENT_REQUESTS = 32 ve DOWNLOAD_DELAY = 0.5 ile başlayın, sonra hedef sitenin davranışına göre ayarlayın. GProxy residential proxy'leriyle genellikle 50-100 eşzamanlı isteği sorunsuz çalıştırabilirsiniz.

Scrapy ile coğrafi hedefleme

GProxy ülke ve şehir düzeyinde hedeflemeyi destekler. Hedef ülkeyi proxy kimlik bilgilerinizin parçası olarak iletin (örneğin user-country-us); istekler o konumdaki IP'ler üzerinden yönlendirilir. Bu, coğrafi kısıtlı içerik veya yerelleştirilmiş arama sonuçlarını toplamak için şarttır.

Kullanım senaryoları

[

{

"

T

I

T

L

E

"

:

"

E

-

T

I

C

A

R

E

T

F

I

Y

A

T

A

K

I

B

I

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

Y

E

R

E

L

F

I

Y

A

T

L

A

N

D

I

R

M

A

Y

I

G

Ö

R

M

E

K

I

Ç

I

N

C

O

Ğ

R

A

F

I

H

E

D

E

F

L

I

P

R

O

X

Y

'

L

E

R

L

E

B

I

R

D

E

N

F

A

Z

L

A

P

E

R

A

K

E

N

D

E

C

I

N

I

N

Ü

R

Ü

N

F

I

Y

A

T

L

A

R

I

N

I

T

O

P

L

A

Y

I

N

.

"

}

,

{

"

T

I

T

L

E

"

:

"

S

E

R

P

T

A

K

I

B

I

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

Ü

L

K

E

Y

E

Ö

Z

E

L

R

E

S

I

D

E

N

T

I

A

L

I

P

'

L

E

R

K

U

L

A

N

A

R

A

K

F

A

R

K

L

I

K

O

N

U

M

L

A

R

D

A

N

A

R

A

M

A

M

O

T

O

R

U

S

I

R

A

L

A

M

A

L

A

R

I

N

I

Z

L

E

Y

I

N

.

"

}

,

{

"

T

I

T

L

E

"

:

"

P

O

T

A

N

S

I

Y

E

L

M

Ü

Ş

T

E

R

I

T

O

P

L

A

M

A

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

T

E

S

P

I

T

E

D

I

L

M

E

M

E

K

I

Ç

I

N

R

O

T

A

S

Y

O

N

L

U

I

P

'

L

E

R

L

E

I

Ş

L

E

T

M

E

K

A

Y

I

T

L

A

R

I

N

I

V

E

I

L

E

T

I

Ş

I

M

V

E

R

I

L

E

R

I

N

I

Ö

L

Ç

E

K

L

I

B

I

Ç

I

M

D

E

Ç

E

K

I

N

.

"

}

,

{

"

T

I

T

L

E

"

:

"

İ

Ç

E

R

I

K

T

O

P

L

A

M

A

"

,

"

D

E

S

C

R

I

P

T

I

O

N

"

:

"

G

Ü

V

E

N

I

L

I

R

P

R

O

X

Y

R

O

T

A

S

Y

O

N

U

Y

L

A

B

I

R

D

E

N

F

A

Z

L

A

K

A

Y

N

A

K

T

A

N

M

A

K

A

L

E

,

Y

O

R

U

M

V

E

I

L

A

N

T

O

P

L

A

Y

I

N

.

"

}

]

Pro ipuçları

Otomatik hız ayarı için AUTOTHROTTLE_ENABLED = True kullanın. Site başına yükü sınırlamak için CONCURRENT_REQUESTS_PER_DOMAIN tanımlayın. Geliştirme sırasında proxy trafiğini boşa harcamamak için HTTP önbelleğini açın. Gelişmiş havuz yönetimi için scrapy-rotating-proxies paketini kullanın.