怎么判断是真Google的蜘蛛还是伪造user-agent的蜘蛛。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 4814 days ago, the information mentioned may be changed or developed.

想屏蔽掉那些假的爬虫。咋办呢！

蜘蛛

屏蔽掉

user

12 replies • 1970-01-01 08:00:00 +08:00

Cadina

Mar 3, 2013

http://www.iplists.com
善用搜索啊

liuxurong

Mar 3, 2013

@Cadina 感谢，好人.

liuxurong

Mar 3, 2013

@Cadina 似乎年代久远了点，很多IP没都有啊。

explon

Mar 3, 2013 via iPhone

判断客户端支持不支持 Flash 可以干掉大部分

liuxurong

Mar 3, 2013

@explon google真的蜘蛛也不支持Flash吧？..

keithl

Mar 3, 2013

reverse dns

explon

Mar 3, 2013 via iPhone

@liuxurong 屏蔽支持的啊

run2

Mar 3, 2013

@explon 普通的curl会被v2ex服务器报400 Bad Request,加了ua就不会了，curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"
curl哪传的过去是否有flash，你怎么判断的到？

liuxurong

Mar 3, 2013

@explon 我是防假蜘蛛，不是防真人類。假蜘蛛一樣不支持。

liuxurong

Mar 3, 2013

@explon 不过还是谢谢你。

swulling

Mar 3, 2013

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553

liuxurong

Mar 3, 2013

@swulling 终极解决方案。谢谢。