写的爬虫，爬取一段时间后，服务器就不响应了，有什么解决办法？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3785 days ago, the information mentioned may be changed or developed.

RT ，一个下载文件的爬虫，一段时间后，服务器完全不响应。
可以确定的是服务器端根据不同 UA ，需要 POST 的数据不同，
我已经区分开 IE 、 chrome 、 firefox 三者各自需要的数据了，还是会有这种情况。
是因为 IP 限制了吗？

Supplement 1 · Dec 28, 2015

谢谢各位，不过我遇到的问题看起来更像是服务器撑不住响应时间太长，而我的代码异常捕获有问题

爬虫

服务器

Firefox

响应

16 replies • 2018-04-14 16:07:06 +08:00

abelyao

Dec 27, 2015

有 IP 限制很正常啊… 没 IP 限制得被人爬到崩…

marcushbs

Dec 27, 2015

一般请求间要加一个按 x2 自增的 interval ，发现没反应了就等等，爬的那些服务如果靠谱点一般都有 ip 访问次数限制

excelle08

Dec 27, 2015

没设置 timeout ？

cyneuzk

Dec 27, 2015

@excelle08 设置了呀

cyneuzk

Dec 27, 2015

@abelyao 这种情况有方法解决吗

abelyao

Dec 27, 2015

@cyneuzk 买代理 IP ，爬几次之后就换一个 IP 咯

wgjak47

Dec 27, 2015

只有换 ip 喽。

FanPengcheng

Dec 27, 2015

在 header 里伪造来源 IP 。

wxg4net

Dec 27, 2015

伪造请求 IP(标准), 参数包含：
VIA:xxx.xxx.xxx.xxx
Client-Ip:xxx.xxx.xxx.xxx
X-Forwarded-For:xxx.xxx.xxx.xxx

cyneuzk

Dec 27, 2015 via iPhone

@wxg4net 学习一下

cyneuzk

Dec 27, 2015 via iPhone

@FanPengcheng 能详细点不

Linxing

Dec 28, 2015

加入代理服务器吧，不停的切换代理

meloncrashed

Dec 28, 2015

上面前辈都说了

多个 ip 切换，　每抓之间试试不同的时间间隔

meloncrashed

Dec 28, 2015

可以考虑时间间隔，是个随机数，不然动作太过规律，容易被看出来是非人类。

KentY

Dec 28, 2015

弄个代理池, 换着爬

hengsha

Apr 14, 2018

可能是服务器的问题，推荐使用郑州新数据代理的美国多 IP 服务器