V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
qile1
V2EX  ›  Python

Python 的 flask 做网站把数据先从数据库缓存到服务器之后使用 pandas 进行查询过滤是否合理

  •  
  •   qile1 · 2019-03-18 14:18:18 +08:00 · 2466 次点击
    这是一个创建于 2076 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,做个管理网站,数据是通过 app 转化为 json 数据存到数据库的一个字段里面的。

    我准备如下操作: 先从数据库获取固定一段时间的数据,预先通过将 json 数据转换为 pandas 的 DataFram 后进行分组统计并赋值到对应的全局函数。

    flask 启动后,直接加载这些数据显示到前端。json 数据定时更新。

    这样网站反应速度很快,定时更新设置为每秒更新也算更新及时了吧

    这个方案不知是否合理,有没有更好办法。

    这样操作主要原因是 json 存到数据库里面是 str 方式存的,读取后大约有二十多个字典键值,每次查询实时处理可能太费时间!

    另外有没有 flask 开发的朋友,和我一起有偿帮弄个网站

    还有一个方法是后台启进程定时把 json 数据解析到数据库:

    然后直接数据库里面根据条件来查询

    我微信号:cWlsZTcwNjA=

    4 条回复    2019-03-24 09:38:26 +08:00
    Latin
        1
    Latin  
       2019-03-18 17:07:50 +08:00
    带我一个
    Latin
        2
    Latin  
       2019-03-18 17:11:14 +08:00
    可以用 celery task 写数据库,数据接口直接 load,ajax 轮询好点。
    wellwisher
        3
    wellwisher  
       2019-03-19 09:09:58 +08:00
    用定时解析 json 到数据库。
    qile1
        4
    qile1  
    OP
       2019-03-24 09:38:26 +08:00
    实时的因为数据库太大,不好弄,后台计划任务同步解析数据应该好点
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5325 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 07:43 · PVG 15:43 · LAX 23:43 · JFK 02:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.