1
muziyue 2014-10-31 10:23:22 +08:00
老虎sitemap生成器:)
|
2
TONYHEAD 2014-10-31 10:24:16 +08:00
XENU
|
5
iscraft 2014-10-31 10:40:17 +08:00
2楼说的xenu应该是最快的吧
|
6
llhh OP |
7
jqw1992 2014-10-31 10:50:17 +08:00
http://www.zhihu.com/question/20788231 这个 chrome就可以了的
|
8
touch 2014-10-31 10:51:16 +08:00
python scrapy不是很好爬吗
|
9
sohu022 2014-10-31 11:18:44 +08:00
用Scrapy,把规则写好,把response.url保存下来就行了。
|
10
simapple 2014-10-31 11:33:27 +08:00 1
https://github.com/simapple/spider 去年早些时候写的,比较烂,希望能对你有帮助
|