V2EX 为什么允许搜索引擎访问 /member

This topic created in 3081 days ago, the information mentioned may be changed or developed.

再或者说 V2EX 如何对抗类似此类爬虫的网站？
https://www.v9kk.com/v2ex/user/site?sort=-user_id

Supplement 1 · Jan 9, 2018

算了我补充一下吧
第一点: 就是 V2EX 现在只隐藏用户曾经发表主题的做法，对于保护隐私而言，用处真的不大，我知道 V2EX 不会提供注销账户功能，但至少能保护下用户的隐私吧？这一点是应该作为一个社区在互联网上的基本要求，用户的基本权利。
当然我个人还是希望 V2EX 能够遵守《电信和互联网用户个人信息保护规定》第九条
第二点: 就是这位爬虫网站的作者如果能看到，麻烦还请更新一下内容，不然 Google 总是搜到以前的内容，还是比较烦人的。

7 replies • 2017-12-26 20:16:35 +08:00

wxsm

Dec 26, 2017

说得好像你有什么办法能够“不允许”一样。

SonicY

Dec 26, 2017

@wxsm 感觉现在百度也没有太恶劣的违反 robots.txt 的行为吧

wxsm

Dec 26, 2017

@SonicY 所以你贴的这个页面，是 Google 帮他爬的，还是百度帮他爬的呢？

SonicY

Dec 26, 2017

@wxsm 这好像是两个问题吧

zpf124

Dec 26, 2017

@SonicY 那个哥们说的是一个问题，爬虫可以伪装成普通用户，我也可以写爬虫，你也可以写爬虫；
而你说的对抗爬虫和阻止搜索引起反倒是两个问题。

robots.txt 仅仅是个公告声明而已，我餐馆门口立个牌子，华人与狗不得入内，你直接强行闯或者你说你是日本人我管不住啊。

所以你的标题是错的，v2 是不允许搜索引擎爬去部分内容的。

内容里问的 v2 对抗爬虫这就是另一个问题了，我不是 v2 的也不知道他们的策略，但不论啥网站有人有心爬你怎么也防不住。

回到一开始你看到的那个网站应该就是站长自己的爬虫程序爬的，就是属于强闯的这种，谁管你公告写的写啥啊。

SonicY

Dec 26, 2017

@zpf124 这本来就是两个问题啊。。。

zpf124

Dec 26, 2017

@SonicY 那问题的答案显而易见了,我也都回答了.