我想做一个类似的。要爬的网站也是 zhihu, weibo 这些。
直接在自己的网站上二次呈现别家的内容,是否合法呢?
我本来想让服务器下发用户浏览器一个“优质答案清单”,然后让浏览器的 js 自己去爬再折腾出来,刚才发现行不通。(网络小白一个,最近才摸着入门)
这样就得让服务器亲自去爬,然后转发给用户浏览器。这样会不会让( zhihu 的)人反感?即便我不以营利为目的,但造成它们的网站分流,是不是也给他们造成了“重大损失”呢?
kanzhihu 已经打不开了,不知道是什么原因,我想万一刚把网站撘起来,zhihu 那边就给我发警告函,那样就太悲剧了。
1
nicoljiang 2019-09-24 16:08:52 +08:00
|
2
baobao1270 2019-09-24 16:18:11 +08:00
不合法,如果非商业利用没人管你;商业利用涉嫌不正当竞争
让浏览器 JS 自己爬行不通,是因为跨域限制 反感不仅是因为对服务器造成压力,也有版权原因;损失其实不大,个人用户设好比较低的频率对大厂来说就是挠痒痒,但人家大厂就是不让你爬 发警告函也是雷声大雨点小,没啥实际作用,但是如果发给你的服务器运营商,那么服务器运行商可能会关停你的服务器,这是最让人头大的 |
3
murmur 2019-09-24 16:26:08 +08:00
一般的小爬最多遭遇反扒和下毒
做大了就有律师函了 但是没卵用 |
4
wenzichel 2019-09-24 16:36:01 +08:00
看知乎,曾经我每天都会看,后来是作者自己不想更新了,维护爬虫太麻烦!
|
5
misaka19000 2019-09-24 16:36:55 +08:00
看知乎是苏利安写的吧
|
6
everlost OP @nicoljiang 感谢,正在细看。
@baobao1270 @murmur 谢谢回复。是非商业使用,仅仅想提供一个看 zhihu 的视角。从 zhihu 的立场来想,我也是能理解他们不高兴的。我还在想一个比较见得光的方法。 |