1
wxsm 2017-12-26 13:08:14 +08:00
说得好像你有什么办法能够“不允许”一样。
|
5
zpf124 2017-12-26 17:16:53 +08:00
@SonicY 那个哥们说的是一个问题,爬虫可以伪装成普通用户,我也可以写爬虫,你也可以写爬虫;
而你说的对抗爬虫和阻止搜索引起反倒是两个问题。 robots.txt 仅仅是个公告声明而已, 我餐馆门口立个牌子,华人与狗不得入内,你直接强行闯或者你说你是日本人我管不住啊。 所以 你的标题是错的,v2 是不允许搜索引擎爬去部分内容的。 内容里问的 v2 对抗爬虫 这就是另一个问题了,我不是 v2 的也不知道他们的策略,但不论啥网站有人有心爬你怎么也防不住。 回到一开始 你看到的那个网站应该就是站长自己的爬虫程序爬的,就是属于强闯的这种,谁管你公告写的写啥啊。 |