1
pathletboy 2013-10-10 18:50:51 +08:00
如果处理不好socket线程,那就php录入数据后放数据库,python定期从数据库取出(python自己访问数据库或者通过php以http方式)开始任务,爬完写回数据库,php再从数据库里取出显示出来。
|
2
cctvsmg 2013-10-10 18:53:52 +08:00 1
redis memcache mysql 都行
反正就是把一个要抓取的网址的json数组存了数据库里面去 python抓到的东西也这么存 |
3
xingzhi 2013-10-10 18:58:19 +08:00 1
http://redis.io/topics/pubsub
消息订阅就好了, php 是发布方,python 作为订阅方,一拿到任务就开始爬。 |
4
andyhuax 2013-10-10 19:01:56 +08:00
用RQ啊
|
5
lupino 2013-10-10 20:23:20 +08:00
o(∩∩)o...哈哈, 可以考率 用 [gearman](http://gearman.org)
|
6
clino 2013-10-10 20:28:13 +08:00
感觉用redis比较合适,数据格式可以用json之类的
|
7
ipconfiger 2013-10-10 20:30:59 +08:00
Redis的订阅发布就好啦,或者python端blpop也行,php端rpush到队列里就行了
|
8
figol 2013-10-16 22:38:32 +08:00
额。不同语言通信 web service 这个比较OK
|