目前用了 mongo 打算一天存一个集合，但是数据到了五千万左右的时候写入速度就很慢了，每秒几百条。
{
"_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
"time" : "2019-09-01 08:01:45.899",
"src_ip" : "59.1.1.1",
"port" : "64466",
"proto" : "TCP",
"in_bytes" : "60",
"out_bytes" : "0",
"in_packets" : "1",
"out_packets" : "0",
"flows" : "1",
"is_edu_net" : "1"
}
数据结构大概是这样，后面需要展示，就这样表格一条数据占一行，会按照 ip，端口，或者协议查询。
 |
1
oscer Oct 17, 2019
pg?
|
 |
2
taotaodaddy Oct 17, 2019 via Android
时序？
|
 |
3
mikulch Oct 17, 2019  1
hbase?
|
 |
4
atbility Oct 17, 2019
elasticsearch?
|
 |
5
l0wkey Oct 17, 2019
TSDB
|
 |
6
rrfeng Oct 17, 2019
应该是 cache 满了，合理调整一下应该可以的。
|
 |
7
qiayue PRO 不用问，问就是时序数据库
|
 |
8
tt67wq Oct 17, 2019
influxdb
|
 |
9
letitbesqzr Oct 17, 2019
@atbility #4 elasticsearch 真的适合如此高的频率写入数据？我所了解要说写入效率，es 是常见的数据库中最慢的。
|
 |
10
hkitdog Oct 17, 2019 via iPhone
Oracle
|
 |
11
ebingtel Oct 17, 2019
@letitbesqzr 先写入 kafka 再写 ES
|
 |
12
yingsunwl Oct 17, 2019
clickhouse
|
 |
13
rockyou12 Oct 17, 2019
时序库吧，timescale，influxdb 这种，上面说 es 估计也行但性能会差些
|
 |
14
11ssss Oct 17, 2019
TDengine
|
|
15
atbility Oct 17, 2019
@letitbesqzr es 挺快的啊，上次我整了 10 个亿的数据，9 台服务器，速度杠杠滴
|
 |
16
zxc111 Oct 17, 2019
clickhouse+1
|
 |
17
wangxiaoaer Oct 17, 2019
|
 |
18
Pythondr Oct 18, 2019 via Android
这种数据，明显时序数据库
|
 |
19
Samuelcc Oct 18, 2019 via Android
hbase
|
Select Language