技术需求:
1. 多线程 java
2. docker 上开多个虚拟机
3. 能监控采集结果,采不到报警
4. 对采集源的采集频率可以定制
5. 兼容将来的大数据平台
请教各位大神,是否已经有这种系统架构了?没有的话,得自己设计了。
1
hienchu 2016-01-13 09:37:14 +08:00
采集什么数据?用什么设备?以前在学校都是直接用数据采集卡的配套软件,基本上这些功能都有了
|
2
xujif 2016-01-13 11:48:00 +08:00
pyspider
|
3
xiyangyang OP |
4
sohoer 2016-01-14 09:01:50 +08:00
|
5
xiyangyang OP @sohoer, 虽然跟我们想要的还有点距离。 联系一下把, QQ : 16983994
|