这是一个创建于 3387 天前的主题，其中的信息可能已经有所发展或是发生改变。
我们后台有个日志服务，我们通过不规范的 json 格式作为容器保存日志数据。
然后日志数据存在文件里面，这些日志数据要做成可视化的。
现在问题来了，这个日志服务我们改动最多，尤其是字段往往会新增，而且新增还很多。
目前我们用 shell 做正则（后续用统一的 json 库来处理），将日志匹配出来然后在入库。
现在发现很麻烦，尤其是入库这里，一出现字段新增就要手动增加表字段，加不好还会带来性能问题。最后还要分表、分库什么的。
目前有没有什么比较灵活的方式来支撑我们频繁增、删、改字段并达到数据可视化（数据筛选和排序等）。通过页面做可视化。
然后日志数据存在文件里面，这些日志数据要做成可视化的。
现在问题来了，这个日志服务我们改动最多，尤其是字段往往会新增，而且新增还很多。
目前我们用 shell 做正则（后续用统一的 json 库来处理），将日志匹配出来然后在入库。
现在发现很麻烦，尤其是入库这里，一出现字段新增就要手动增加表字段，加不好还会带来性能问题。最后还要分表、分库什么的。
目前有没有什么比较灵活的方式来支撑我们频繁增、删、改字段并达到数据可视化（数据筛选和排序等）。通过页面做可视化。
 |
1
9hills 2015-08-18 23:12:52 +08:00 via iPad
mongodb,不过要想提高性能还得做些功课
|
Select Language