比如说这个——链接: http://pan.baidu.com/s/1GrM2M 密码: 1xpe
请问如何在不使用selenium情况下,将此链接中的资源保存到自己的网盘?
万分感谢
1
t6attack 2015-02-11 14:22:03 +08:00 1
要么模拟浏览器,除了selenium,还有phantomjs等。
要么把分析百度的代码,把每个http请求梳理分析一遍,然后写程序把每个http请求走一遍。 后者需要的精力更多,效率也更高。 |
2
Navee 2015-02-11 14:47:56 +08:00
分析一下请求,用代码模拟一遍。
|
3
catmario OP @t6attack 感谢回复。我跟踪post请求,并构造了登录请求。请问为什么还是进入不了转存界面,prin页面t的结果还是有“输入提取密码”?
------------------------------------------------------------ # -*- coding: utf8 -*- import urllib2 import urllib #原网页 url = 'http://pan.baidu.com/s/1GrM2M' code = '1xpe' #设置log httpHandler = urllib2.HTTPHandler(debuglevel=1) httpsHandler = urllib2.HTTPSHandler(debuglevel=1) opener = urllib2.build_opener(httpHandler, httpsHandler) urllib2.install_opener(opener) #构造登录请求参数 postData1 = { 'pwd' : code, 'vcode' : '', }; postData1 = urllib.urlencode(postData1); #发送登录请求 loginRequest1 = urllib2.Request(url); loginRequest1.add_header('Accept','*/*'); #loginRequest1.add_header('Accept-Encoding','gzip, deflate'); loginRequest1.add_header('Accept-Language','en-US,en;q=0.8,ja;q=0.6,zh-CN;q=0.4,zh-TW;q=0.2'); loginRequest1.add_header('Connection','keep-alive'); loginRequest1.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36'); loginRequest1.add_header('Content-Type','application/x-www-form-urlencoded'); loginRequest1.add_header('X-Requested-With','XMLHttpRequest'); #网页读取 htm = urllib2.urlopen(loginRequest1) print htm.read() |
4
l12ab 2015-02-11 15:29:14 +08:00
firebug 看看具体提交到了哪个页面
然后用任何语言模拟一遍 |
5
jprovim 2015-02-12 08:10:03 +08:00
如果是JavaScript action的話, 只能用phantomjs, selenium.
如果是HTTP協議的話, 就可以用Requests發包. |
6
q397064399 2015-02-12 08:39:41 +08:00
别构造了 想当年我用delphi写一个抓取百度音乐的demo ╮(╯▽╰)╭ 不说了
|
7
PeterD 2015-02-12 09:44:27 +08:00 2
|