请问各位大牛,有如下爬虫需求外包,请问一般开价几何?有兴趣的请联系我。 谢谢。
针对类似如下网站,http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式,将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求:
1,从之前向现在的时间取爬取,这样如果因为网络等原因断开后,再次开始时,能自动从更早的时间点开始爬取。
2. 如果超时,至少要有3次重试。再超时,或者发生错误时,能发送邮件给指定人。
2. 性能:内存不能超过300M, CPU使用率不能超过30%。
3. 数据库:已设计好,使用postgresql.
4. 做成可以用cron调用的命令,比如ruby或者node.js的可以执行的命令。
针对类似如下网站,http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式,将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求:
1,从之前向现在的时间取爬取,这样如果因为网络等原因断开后,再次开始时,能自动从更早的时间点开始爬取。
2. 如果超时,至少要有3次重试。再超时,或者发生错误时,能发送邮件给指定人。
2. 性能:内存不能超过300M, CPU使用率不能超过30%。
3. 数据库:已设计好,使用postgresql.
4. 做成可以用cron调用的命令,比如ruby或者node.js的可以执行的命令。