Python 多线程爬取微博，写入 Mongodb 数量对不上

迫于 sf 没人看，所以到这里来，具体

链接： https://segmentfault.com/q/1010000018385188

主要是想间隔性的爬取防止被 Ban，例如这个人的微博量很多，例如有 300 多页，我就想着多进程一次请求 9 个页面，然后赞停几秒，然后继续一次请求 9 个页面，循环直到请求完是我思路哪里不对么？ 在线等，挺急的

if __name__ == '__main__':
	p = Pool(9)
	x = 1
	y = 10
	while y <= 30:
		for i  in range(x,y):
			p.apply_async(getPage, args = (i,))
		print('9 page done!')
		time.sleep(random.randint(3,5)+random.random())
		x += 10
		y += 10
	p.close()
	p.join()
	print('Done!')