http://pachong.org/ 这个网站的主页里面的端口是用 js 代码生成的，js 里面的变量每次在打开网页的时候都会变化。那么里面的端口那个值怎么获取到呢？

用python写的脚本，爬取他的端口。但是他的端口是通过他实现的。<script>document.write((15807^goat)+812);</script> 里面的goat是通过var goat=6111+7380;var hen=5548+7476^goat;var seal=2094+4451^hen;var rat=1687+7000^seal;var pig=3997+8240^rat; 这个js实现的，但是每次打开网页的时候，这里面的变量名称和值都会变化。想问下，这样的话怎么获取他的端口？

下面是自己的gist. 想通过goat=6111+7380这个字串直接在python里面产生一个goat变量并且赋值给他。但是没成功。


	###resultstring is something like this '(1646^hen)+19'
	def getport(resultstring):
	port = eval(resultstring)
	return port

	proxyurl= 'http://www.pachong.org/'
	try:
	r = requests.get(proxyurl,timeout=60*4)
	except:
	print 'I can not get the date of pachong.org'
	if r.status_code != 200:
	print 'the status is not good. status_code is %s' % r.status_code
	return
	ht = BeautifulSoup(r.content)
	animals = str(ht.head.find_all('script')[-1].text)
	[eval(item.replace('var','').strip()) for item in animals.split(';')]###it is wrong here

	table = ht.find_all('table', attrs={'class':'tb'})
	if not table:
	return
	table = table[0]
	trs = table.find_all('tr',attrs={'data-type':'high'})
	for tr in trs:
	idlestring = tr.find_all('td')[5].text
	idlestring = idlestring.replace('\n','').replace(' ','')
	if idlestring == u'空闲':
	# proxy_id += 1
	ip = tr.find_all('td')[1].text
	portstring = tr.find_all('td')[2].text
	patt = re.compile(u'document.write\((.*?)\);')
	if re.findall(patt,portstring):
	resultstring = re.findall(patt,portstring)[0]
	else:
	continue
	port = getport(resultstring)
	ip_port = '%s:%s' % (ip, port)
	print 'ip_port is %s' % ip_port

view raw crawler_proxy.py hosted with ❤ by GitHub

赋值

gist

变量

2 条回复 • 2015-01-09 20:35:11 +08:00

no13bus

2014-10-08 11:01:57 +08:00

好像解决了。直接用
for item in animals.split(';'):
exec(item.replace('var','').strip())

exec即可。不知道大家还有没有什么别的优雅的解决办法。

yaotian

2015-01-09 20:35:11 +08:00

@no13bus 后来解决了吗？