网站爬虫爬着爬着程序就假死了，也不报错，也不继续，就卡着不动了，是哪里设计不对，求各位指教

for i in soup1.find_all("input", type="image"):
	imgnow = time.strftime("%Y%m%d%H%M%S")
	imgurl = i['data-src']
	rname = imgurl .split('/')[-1]
	opener = urllib.request.build_opener()
	opener.addheaders = self.UA
	urllib.request.install_opener(opener)

        try:
          #就是卡这里不动了，没有任何动静，程序静止了
	  urllib.request.urlretrieve(
	  imgurl, "./Pic/%s" % imgnow + "_" + str(rname))     

       except Exception as e:
		print("出错了:%s，继续..." % e)
	        continue

opener

rname

imgnow

que

16 条回复 • 2018-06-14 17:13:14 +08:00

a7a2

2018-06-10 20:32:46 +08:00

需要加入超时处理，免得在对方网站限制或关闭时候有反应

wsds

2018-06-10 20:43:42 +08:00

@a7a2 怎么加，求指教

bihuchao

2018-06-10 20:44:59 +08:00

You can read this.
ref: https://stackoverflow.com/questions/8763451/how-to-handle-urllibs-timeout-in-python-3.

Or you can try requests.

ThirdFlame

2018-06-10 20:50:23 +08:00

推荐 requests。当然了不管用啥都得考虑超时

wsds

2018-06-10 20:58:19 +08:00

@ThirdFlame 加了超时，现在可以抛出异常了，但老是有这种，放在 try 了，10 个请求，有 5 个就是这种，遇到就 pass 了继续。。。。：

[WinError 10054] 远程主机强迫关闭了一个现有的连接。，继续...

要么就干脆直接报错程序终止了：
requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

ThirdFlame

2018-06-10 21:17:14 +08:00

@wsds ConnectionReset，对端发了 reset。原因很多，网络不好对方等待超时，对方发现你再爬虫，所以超时。各种原因。想要仔细分析原因抓包分析，看看是网络不好，还是对方主动的。

wsds

2018-06-10 21:32:52 +08:00

@ThirdFlame 换了网络，不像是网络问题，总之感觉爬的很费力，各种异常，try 都 try 不住