V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2931 days ago, the information mentioned may be changed or developed.
 |
1
deloved Apr 17, 2018
设置 timeout ？
|
 |
2
wcsjtu Apr 17, 2018
多 print， 看卡在哪了。。。
|
 |
3
crisewng Apr 17, 2018
你代码也不发 让我们怎么猜。。。。
|
 |
4
John60676 Apr 17, 2018  10
接楼上，我猜是爬虫累了
|
 |
5
PythonAnswer Apr 17, 2018 via iPhone
栈溢出
|
 |
6
xrlin Apr 17, 2018 1
爬虫：爬了这么久，是该歇歇了。
|
 |
7
onepunch Apr 17, 2018
多线程死锁？
|
 |
8
lan5635 Apr 17, 2018
服务器被你爬趴下了？
|
 |
9
lusi1990 Apr 17, 2018 via Android
阻塞了， 链接池释放了吗，设置 timeout 了吗
|
 |
10
jimmyczm Apr 17, 2018
可能虫子被小鸟吃了
|
 |
11
yxwzaxns Apr 17, 2018 via iPhone
开 ssh，我去看看
|
 |
12
Ginson Apr 17, 2018
很大可能是请求阻塞了
|
 |
13
hhvv23911k Apr 17, 2018
爬虫：我休息一下不行？换你一直爬试试？
|
 |
14
dengshuang Apr 17, 2018
用 print 方法检查，那个地方卡了。每个函数下都放个 print.
|
 |
15
dingling136 Apr 18, 2018
1 楼说的对，很大可能没有设置 timeout。
另外可以加杀死进程的代码。在下一次启动任务时，先执行一下杀死进程。注意 2 个 crontab |
 |
16
lookwi Apr 18, 2018 via iPhone
爬虫：我有自己的想法了，我要看小电影，歇一会
|
 |
17
okzpy9425 Apr 18, 2018
只说自己爬虫程序卡死了，也不说自己具体使用的是什么技术。。也不贴代码，这让人怎么给你分析？
大多数原因都是阻塞在了某个链接上，如果你使用 python 的协程 处理不好的话很容易卡死的。 |
 |
18
anywalker707 Apr 18, 2018
被一只早起的鸟，吃了
|
 |
19
xiangR Apr 18, 2018
可以看一下，是不是卡在打 log 上了。我曾经碰到过，将所有 log 配置都去除，只有在抛异常的时候再打 log
|
 |
20
qingshan16 Apr 18, 2018
当然是等它复活啊
|
 |
21
kongkongyzt Apr 18, 2018 via Android
记得 close connection
|
Select Language