把需求里 最核心的两个技术性的难点问题再说明一下
对性能（实时性）有非常高的要求， 抓取到的新闻 最多 1s 内的延迟
再就是部分抓取网站有 websocket 的接口推送新闻的，这个需要搞定
能够解决上面两个问题的联系我，最好是有实际相关项目经验的
开发费用 1w，维护费用 5k/年，服务器硬件还有代理部分预算支出在 2w/年 ，
爬取网站 10 个左右，爬取时间一天 6 小时
联系方式 球球:196063
This topic created in 2716 days ago, the information mentioned may be changed or developed.
 |
airylandMay 28, 2019
1
1s 延迟，先说能不能达到这个延迟，你考虑过人家网站的感受么。
|
 |
tikazyqMay 28, 2019
2
这种实时性要求高的爬虫需要对网页进行秒级监控，这个有些难度，可以用 polling 来搞。websocket 爬虫我认识一个大牛，可以 wx 我 tikazyq1
顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业 // github.com /tikazyq/crawlab |
 |
explorerEXMay 28, 2019
4
应该是金融类的产品吧，响应可以在这范围内，稳定性不一定能达到
|
 |
MokerMay 28, 2019
5
什么类型的网站？
|
 |
lekai63May 28, 2019 via iPhone
6
1 天 6 小时
估计是爬 gov 网站 基于舆情作交易吗 |
 |
7
2w/a 买代理都不够的吧
|
1 |
8
@zinfinb 不会挂不意味着这样频率的请求是合理的，大部分在爬的人估计都是这么想的。你考虑的是反正人家不会挂，而站方必须增加更多额外人力资源成本来应对爬虫。
|
 |
10
我觉得这个的主要难点在于 1s 之内响应，对应的就是反爬策略的更新和代理的稳定性，我觉得 2w 付代理确实有难度
|
 |
11
这个要求有点疯狂啊
|
 |
fateMay 28, 2019
12
自己做新闻源？
|
 |
nativeMay 28, 2019
13
爬取时间一天 6 小时 ，如何做到实时？只有 6 个小时实时。
|
|
dryadentMay 28, 2019
15
@zinfinb 对，我觉得代理这部分可以看着来，一般的网站即使把 ip 封了也不会一直封禁，有一个静默期，用代理池一直更新就好了，主要是测试到准确的静默期边界存在困难
|
 |
lesterchenMay 28, 2019
16
不会被计算机犯罪么~
|
 |
17
这个确实很危险，算计算机犯罪了，赚白菜的钱，操白粉的心。
|
 |
Constellation39May 28, 2019
18
监狱里面找 /狗头 /
|
 |
murmurMay 28, 2019
19
1s 延迟你要把别人网站爬炸
|
 |
20
洗洗睡吧
|
 |
zuoakangMay 28, 2019 via Android
21
白菜价
|
 |
liwlMay 28, 2019
22
话说，多加几台机器，轮流跑 可以么 比如 5 台 5s 一次 每台之间间隔 1s 加钱可达？
|
 |
23
这需求没法做的，“最多 1s 内的延迟”这一点，技术层面都不一定所有网站可行，道德层面问题就更大了。。
1s 内的延迟意味着你需要至少 0.5 秒刷新一次，对于一些比较菜的网站来说就是 DDOS 了，虽然可能不会当场爆炸但也会压力山大；如果人家挂了付费 CDN 的话即使全部打在缓存上、对服务器本身没有压力，也还是会有流量费的问题。 |
 |
onepunchMay 28, 2019
24
这个需求很简单，怎么实现我不管 ，dog
|
 |
25
你可以跟这些网站合作拿信息，不过费用就不只两万了。
我以前写过一个 proxy，可以把这个软件接受的所有信息转发，延迟在 0.1s 以内。 频繁刷新不可取，websocksets 还可以 |
 |
cholMay 28, 2019 via iPhone
26
可以做啊，预算加个 0
|
 |
27
1s 延迟，这个需求估计是拍脑袋拍出来的
|
 |
rocketman13May 28, 2019
28
费用感人。。
|
 |
29
@zzcworld 多谢你的建议， 有一些细节我想请教一下，是否方便发我你的联系方式？ 我现在考虑把重要的按你说的 proxy 的方式来做， 有 websocket 替代的尽量用这个。其他不重要的 刷取间隔时间调长一些
|
 |
freemoonMay 28, 2019
30
既然是找别人做，就不要想着投机套方案，之前 V 站也有这种人，最后在这里不敢发言了。
|
 |
luozicMay 28, 2019 via iPhone
31
😄，ip 代理费
|
 |
demoxuMay 28, 2019
32
|
|
demoxuMay 28, 2019
33
首先不说开发费用，5k/年的维护费用平均 400/月？
|
 |
lifeintoolsMay 28, 2019
34
这个价格 招实习生 差不多
|
 |
NaveeMay 28, 2019
35
1s 延迟，单页面日最少请求=3600*24=86400，平均一个代理请求 1000 次，得至少 86 个代理轮换
|
 |
mzdblsw8May 29, 2019 via iPhone
36
有没有想过。一年维护费才 5000。
网站改一下策略。又要改代码。一个月才 400。那个大牛这么便宜？ |
Select Language