使用 requests.get 在百度上搜索一个关键字，百度会返回一个页面，页面的最底下会有第 1 页，第 2 页这样的按钮。获取这个按钮上的 href 后，再使用 requests.get 去获取这个 url,结果返回如下： <html> <head> <script> location.replace(location.href.replace("https://","http://")); </script> </head> <body> <noscript><meta http-equiv="refresh" content="0;url=<a href=" http:="" <a="" href="http://www.baidu.com" rel="nofollow">www.baidu.com="" "="" rel="nofollow">http://www.baidu.com/"></noscript> </body> </html>
请问下 V 友们，这个该怎么解决
 |
1
dd99iii May 27, 2017
code 呢
|
 |
2
kindjeff May 27, 2017
你爬到的链接都换成 https 的再访问呗。
|
 |
4
cwlmxwb OP @dd99iii user_agent = "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
headers = {'User_Agent':user_agent} response = requests.get(url, headers = headers,timeout=10) return str(response.text) 这样的 |
 |
5
GoBeyond May 27, 2017 via Android  1
你可以读一下这段 HTML，你会发现它在试图从 https 降到 http，虽然我也不清楚为什么会这样，但是你可以试一下
|
Select Language