有没有批量检测网址有效性的软件？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3702 天前的主题，其中的信息可能已经有所发展或是发生改变。

网上找了几个貌似都有点问题，说是多线程的，可执行一会就停止了，检测还不到100个网址就瘫痪了。。有没有好点的软件呢？

有效性

检测

网址

15 条回复 • 2017-12-13 14:51:39 +08:00

kisshere

2014-09-21 17:08:06 +08:00

自己用phantomJs去写个小脚本吧

binux

2014-09-21 17:12:33 +08:00

写几行shell就搞定了吧

bobopu

2014-09-21 17:19:46 +08:00

@kisshere
@binux 不会。。

em70

2014-09-21 17:20:08 +08:00

写个小脚本,向每个地址发送head命令,返回状态码200就说明有效,要不了几行代码,但这种方法不支持禁head或者有专门404页面的服务器.

bobopu

2014-09-21 17:23:09 +08:00

@em70 如果这个网站首页没法访问，但二级页面可以访问，这该如何检测他是否有效啊？

em70

2014-09-21 17:26:52 +08:00

@bobopu 能访问就能检测,超链接嘛,与其所在位置无关

找你找一个python的head命令检测函数 http://www.tuicool.com/articles/YruQZb
自己写个循环或者上个多线程就行了

bobopu

2014-09-21 17:30:33 +08:00

@em70 如果Ping都ping不通的情况下，该网站应该返回哪个错误代码呢？

em70

2014-09-21 17:45:22 +08:00

@bobopu 400,403,407,500,502都有可能,其实你不用关心这个,head命令发送返回200状态码就说明有效,其他都无效就行了.

bobopu

2014-09-21 18:07:02 +08:00 via Android

@em70 刚才又找了个软件，可以返回状态码，但是跑了一会也是停止响应了。。这类软件怎么都这么不稳定。

em70

2014-09-21 18:09:49 +08:00

@bobopu 多线程大量访问未知的网络会出现很多异常,又不是成熟的商业软件,不可能做得多完善,自己写脚本是正道,有什么问题自己可以解决.

jacker

2014-09-21 19:18:43 +08:00

xenu;Screaming Frog SEO Spider前者免费，后者有破解版

renzhn

2014-09-21 19:33:46 +08:00

火狐有个Bookmarks Checker，前几天清理书签时用过

qping

2014-09-21 22:28:26 +08:00

这个 http://www.uhaomi.com/ ？

qping

2014-09-21 22:29:18 +08:00

原来是网址不是域名看错了楼主别里我了

geo5078

2017-12-13 14:51:39 +08:00

https://www.showapi.com/api/lookPoint/1509 这个？