分布式采集系统如何设计呢？使用python语言

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 4516 days ago, the information mentioned may be changed or developed.

比如，我要采集淘宝商品购买的用户id，同一个ip访问频率太多，会被封ip，会被限制，
那么如果我有10个vps，我该如何让程序能协作呢，如何分配任务呢，我该补充哪方面的知识呢

请大家指点一二

4 replies • 1970-01-01 08:00:00 +08:00

Wy4q3489O1z996QO

Dec 26, 2013

gearman

fdsfsdfsdf3334

Dec 26, 2013

@romotc 谢谢我了解下

pubby

Dec 26, 2013

搞啥分布式，

每个vps上装个http或者socks5代理，挨个轮换代理不就行了

Lax

Dec 26, 2013

如楼上说法，http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。