V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 5045 days ago, the information mentioned may be changed or developed.
我要实现一个图片下载程序，思路是这样的：
webpy
前台输入图片地址保存到数据库，后台有一个守护程序。发现有新的未下载的图片，马上下载。
现在想问的是 webpy 框架 自身可以实现这个守护程序吗？
说简明一点：webpy启动的时候，下载图片的程序也运行。
webpy
前台输入图片地址保存到数据库，后台有一个守护程序。发现有新的未下载的图片，马上下载。
现在想问的是 webpy 框架 自身可以实现这个守护程序吗？
说简明一点：webpy启动的时候，下载图片的程序也运行。
 |
1
sykp241095 Jul 17, 2012
可以，但没有这么做的
|
 |
2
zzWinD OP @sykp241095 谢谢你的回复，
请问什么方法才更适合我的需求？ |
|
3
sykp241095 Jul 17, 2012
You need a standalone consumer.
|
 |
4
judezhan Jul 17, 2012
...我实在是没明白你的意思。一个cronjob+shell脚本就搞定了吧？还是我曲解了你的意思？
|
 |
5
shellex Jul 17, 2012
@zzWinD 的意思是需要一个web介面提交下载地址，让呼叫一个下载程序去下载。
如果是我的话，我也会用一个独立程序来处理下载的事宜。你可以让这个下载程序访问数据库获得需要下载的任务，也可以让那个web暴露一个API提供任务给下载程序。 |
|
6
zzWinD OP |
 |
7
messense Jul 17, 2012
也许需要用 python-rq 或者 celery 这样的Task Queue？
|
 |
9
arzon Jul 17, 2012
@zzWinD 典型的生产者-消费者的需求. 可以用线程+队列解决.
随应用服务器初始化一个消费者线程和生产队列. 提交地址时将地址放入队列. 消费者线程依次从队列中取出地址进行下载保存. |
 |
10
jamiesun Jul 17, 2012
|
|
11
zzWinD OP |
 |
12
Archangel_SDY Jul 18, 2012
做过一个类似的, 前台用js bookmarklet提交请求, 后台用celery处理下载, 队列用rabbitmq.
webpy的话用在处理前台请求和管理页比较合适. |
 |
13
lanbing Jul 18, 2012
|
 |
14
ilessd Jul 18, 2012
可以參考
https://chrome.google.com/webstore/detail/hgndabfigagmapbcgdcmbcbmemkchlid?hl=zh-TW 使用 aria2c 的 rpc server |
 |
15
ipconfiger Jul 18, 2012
$sudo pip install celery
一切没烦恼 |
 |
16
cyberscorpio Jul 18, 2012
一般来说，可能你得提交两个地址。除了图片的 URL 之外，还要 HTTP_REFERER，否则很多网站会返回 403...
|
|
17
jamiesun Jul 19, 2012
|
 |
18
shiweifu Jul 20, 2012
cronjob + Python + 一个kv(k是文件地址,v是保存的路径)
|
 |
19
bigzhu Jul 24, 2012
我做的 http://digzhu.com 其实有部分功能用到你说的这个.
我这个站是用来推荐网站的. 输入 url,然后抓取站点截图. 正好也是用 web.py 开发的. 确实得用另外的程序来抓. python 就判断下抓过没有,还有转换下图片大小等杂事. |
 |
22
darklowly Sep 22, 2012
直接创建一个后台线程就可以了。
|
 |
23
mckelvin Sep 22, 2012
如果LZ嫌cron麻烦的话可以tmux开一个panel直接写轮询呀
|
 |
24
clowwindy Sep 22, 2012
|
 |
25
xi4nyu Sep 25, 2012
异步+队列.
|
Select Language