• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 4048 天前的主题，其中的信息可能已经有所发展或是发生改变。
针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
 |
1
cloudzhou 2014 年 12 月 19 日  1
这个我比较擅长 :-)
|
 |
2
mutoulbj 2014 年 12 月 19 日
这个可以有
|
 |
4
keenturbo 2014 年 12 月 19 日
支持一下
|
 |
5
zhkzyth 2014 年 12 月 19 日
还有这样的活~~=.=
|
 |
7
iewgnaw 2014 年 12 月 19 日
你这不是要数据，是要程序啊。写完了，合作就完了？
|
 |
8
ming2050 2014 年 12 月 19 日 via Android
这叫兼职？
|
 |
9
fooevr 2014 年 12 月 19 日
CPU使用率不能超过30%这个要求很奇怪
|
 |
10
9999999999999999 2014 年 12 月 19 日
@fooevr 估计是他要跑三个实例，
|
|
11
fooevr 2014 年 12 月 19 日
@9999999999999999 我不是说对CPU有限制奇怪, 而是什么级别的CPU呢?
|
 |
12
wibile 2014 年 12 月 19 日
这种要求还需要用celery？？？
|
 |
13
icedx 2014 年 12 月 19 日 via Android
我怎么觉得这个似乎发过一次
|
 |
14
wangfeng3769 2014 年 12 月 19 日
个人表示很可以吧
|
|
15
9999999999999999 2014 年 12 月 19 日
@fooevr 不管什么级别的ＣＰＵ啊。 打个比喻： 我雇佣工人做事情，我一共有１００元，我需要雇佣三个工人，当然给每个工人的报酬不能超过３０元。
|
|
16
fooevr 2014 年 12 月 20 日 1
@9999999999999999 恩 我知道你说的是人民币.
|
 |
18
R4rvZ6agNVWr56V0 2014 年 12 月 21 日
这哪是兼职啊。。。 要么叫做长期项目，要么叫做remote
|
 |
19
RangerWolf 2014 年 12 月 21 日
@icedx 你的感觉是对的 这个帖子跟之前的内容完全一致
|
|
20
wangfeng3769 2014 年 12 月 21 日
这个项目估算一下价格，看看需要多少钱。
|
 |
21
yongjiu236z 2016 年 12 月 11 日
|
Select Language