推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
1989922yan
V2EX  ›  Python

[问] 有没有“动态页面静态化”的服务?或者,开源系统??请贴地址 或 项目名

  •  
  •   1989922yan · Apr 30, 2015 · 5076 views
    This topic created in 4042 days ago, the information mentioned may be changed or developed.
    Supplement 1  ·  May 1, 2015
    附加:

    简单的说,就是“google快照” 或者 “百度快照” 的东西
    但是,更灵活,对现有业务系统,改动最小
    最理想的状态,就是:动态页面静态化的系统。

    这是一个想法。
    nginx可以完成的是反向代理,高效代理静态文件。
    我希望利用这样的特点,把“动态的网站”完全静态化,或者,尽量多地静态化。

    希望讨论。如果现有这样的系统,希望给出。
    python非常适合做这个项目。
    Supplement 2  ·  May 6, 2015
    我想明白怎么更清楚地描述这个系统了:

    不是希望简单地让服务器(nginx或者其他)做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器(nginx或者其他)缓存
    24 replies    2015-05-06 10:38:06 +08:00
    knightlhs
        1
    knightlhs  
       Apr 30, 2015
    描述不明确
    什么叫 动态页面静态化 的服务 在我看 CDN 就完成你的需求了
    loading
        2
    loading  
       Apr 30, 2015 via Android
    webzip另一种用途。
    ryd994
        3
    ryd994  
       Apr 30, 2015
    nginx反代加缓存不也是一样效果?
    kofj
        4
    kofj  
       Apr 30, 2015
    curl
    janxin
        5
    janxin  
       May 1, 2015
    CMS应该都会有这类的功能吧...不过php之类的比较常见一点
    xiaoz
        6
    xiaoz  
       May 1, 2015 via Android
    开启缓存
    1989922yan
        7
    1989922yan  
    OP
       May 1, 2015
    @knightlhs

    我添加了附加,再帮我看看呢。
    假如,我现在有一个动态页面,整个页面都是从数据库中取数据。每一次请求都是。
    那么cdn是设置过期时间,然后才会更新的,是这样吗?
    1989922yan
        8
    1989922yan  
    OP
       May 1, 2015
    @loading
    到位。如果可以直接用在后端应用,那么整个网站都能静态化下来
    1989922yan
        9
    1989922yan  
    OP
       May 1, 2015
    @ryd994

    的确希望用类似nginx高效的机制
    如果仔细考虑你说缓存,在用户访问使用的时候,其实是一个策略在里面的,还需要考虑
    @xiaoz
    1989922yan
        10
    1989922yan  
    OP
       May 1, 2015
    @janxin

    同样看到PHP的动态静态化了
    的确可以实现
    只是我现在希望单独一个系统处理,这样动态代码和静态服务,可以分开
    xiujie2005
        11
    xiujie2005  
       May 1, 2015
    varnish
    1989922yan
        12
    1989922yan  
    OP
       May 2, 2015
    @xiujie2005 是类似nginx吗?
    wsph123
        13
    wsph123  
       May 2, 2015
    CDN 强制一段时间不更新就是了吧
    loading
        14
    loading  
       May 2, 2015 via Android
    在windows下,我可以用python配合webzip类软件搞定。
    局域网?细思极恐!
    shootsoft
        15
    shootsoft  
       May 2, 2015
    看你目的是想干什么,如果是你想离线浏览某些网页或者测试某些服务,可以试试这个https://github.com/shootsoft/Easygoing.FiddlerCache
    1989922yan
        16
    1989922yan  
    OP
       May 2, 2015
    @wsph123 我在看看,cdn有没有粒度更细的静态化
    1989922yan
        17
    1989922yan  
    OP
       May 2, 2015
    @loading
    还是网站的静态化问题,其实也就是控制粒度到标签就可以了
    1989922yan
        18
    1989922yan  
    OP
       May 2, 2015
    @shootsoft 我希望通过网站静态化,提供更高的并发量
    fburst
        19
    fburst  
       May 2, 2015
    用爬虫抓取网页?
    xiujie2005
        20
    xiujie2005  
       May 3, 2015
    Varnish工作原理及配置详解
    http://harisxiong.blog.51cto.com/7513022/1556778
    不用再多说吧.这个应该满足你
    1989922yan
        21
    1989922yan  
    OP
       May 3, 2015
    @fburst
    原理是一个。但是爬虫现在的目的,不再是获取内容做分析。
    而是,获得内容,然后静态化可以静态化的,动态部分可以用js做restful(我是这样想,具体还得思量)
    1989922yan
        22
    1989922yan  
    OP
       May 3, 2015
    @xiujie2005

    哥们,很靠谱。
    这里,你注意到,Varnish会判断“是否可以缓存“。
    如果我们主动让让我们的内容,全部可以缓存,或者,更多的内容可以缓存,
    那么我们应该可以很容易提高并发量。

    至于关键的数据,在客户端再异步请求获取。

    我不知道这个方案,是否可行。或者,是否值得
    fburst
        23
    fburst  
       May 3, 2015
    Varnish或squid做cdn也行。
    看具体系统吧。
    nginx proxy_cache速度应该会快一些。
    1989922yan
        24
    1989922yan  
    OP
       May 6, 2015
    @fburst

    = =,不是希望简单地让服务器做缓存
    而是希望做一个第三方系统,尽可能多的,帮助服务器缓存
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1037 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 23:02 · PVG 07:02 · LAX 16:02 · JFK 19:02
    ♥ Do have faith in what you're doing.