• 请不要在回答技术问题时复制粘贴 AI 生成的内容
everlost
V2EX  ›  程序员

像 kanzhihu 这种爬虫性质的网站合法吗?

  •  
  •   everlost · Sep 24, 2019 · 2978 views
    This topic created in 2446 days ago, the information mentioned may be changed or developed.

    我想做一个类似的。要爬的网站也是 zhihu, weibo 这些。

    直接在自己的网站上二次呈现别家的内容,是否合法呢?

    我本来想让服务器下发用户浏览器一个“优质答案清单”,然后让浏览器的 js 自己去爬再折腾出来,刚才发现行不通。(网络小白一个,最近才摸着入门)

    这样就得让服务器亲自去爬,然后转发给用户浏览器。这样会不会让( zhihu 的)人反感?即便我不以营利为目的,但造成它们的网站分流,是不是也给他们造成了“重大损失”呢?

    kanzhihu 已经打不开了,不知道是什么原因,我想万一刚把网站撘起来,zhihu 那边就给我发警告函,那样就太悲剧了。

    7 replies    2019-09-24 16:52:12 +08:00
    nicoljiang
        1
    nicoljiang  
    PRO
       Sep 24, 2019
    baobao1270
        2
    baobao1270  
       Sep 24, 2019
    不合法,如果非商业利用没人管你;商业利用涉嫌不正当竞争

    让浏览器 JS 自己爬行不通,是因为跨域限制

    反感不仅是因为对服务器造成压力,也有版权原因;损失其实不大,个人用户设好比较低的频率对大厂来说就是挠痒痒,但人家大厂就是不让你爬

    发警告函也是雷声大雨点小,没啥实际作用,但是如果发给你的服务器运营商,那么服务器运行商可能会关停你的服务器,这是最让人头大的
    murmur
        3
    murmur  
       Sep 24, 2019
    一般的小爬最多遭遇反扒和下毒
    做大了就有律师函了 但是没卵用
    wenzichel
        4
    wenzichel  
       Sep 24, 2019
    看知乎,曾经我每天都会看,后来是作者自己不想更新了,维护爬虫太麻烦!
    misaka19000
        5
    misaka19000  
       Sep 24, 2019
    看知乎是苏利安写的吧
    everlost
        6
    everlost  
    OP
       Sep 24, 2019
    @nicoljiang 感谢,正在细看。
    @baobao1270 @murmur 谢谢回复。是非商业使用,仅仅想提供一个看 zhihu 的视角。从 zhihu 的立场来想,我也是能理解他们不高兴的。我还在想一个比较见得光的方法。
    everlost
        7
    everlost  
    OP
       Sep 24, 2019
    @wenzichel 刚看到她曾经的一篇帖子(那时候还在维护),说准备找一些人共同分担,不过没后话。感觉是挺负责任的一个人,为了网站稳定会”差不多每天起床修改一回“。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2458 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 00:33 · PVG 08:33 · LAX 17:33 · JFK 20:33
    ♥ Do have faith in what you're doing.