利用 PhantomJS 去请求几个微博的 url ,发现没法渲染某个特定的 js 页面
以下为测试的伪代码,麻烦各位大哥可以帮忙看看
from selenium import webdriver
from selenium.webdriver import DesiredCapabilities
desired_capabilities \
= DesiredCapabilities.PHANTOMJS.copy()
desired_capabilities['phantomjs.page.customHeaders.User-Agent'] \
= headers['User-Agent']
desired_capabilities['phantomjs.page.customHeaders.Cookie'] = headers['Cookie']
driver = webdriver.PhantomJS(desired_capabilities=desired_capabilities)
driver.get(url)
htmlTag = driver.page_source
这时候我传了以下两个 url 进去,然后第二个 url 无论怎么请求返回的 html 都是没有渲染过的
#可以渲染
urlUser = 'http://weibo.com/sandra0314?refer_flag=1087030101_417'
#不能渲染
urlTag = 'http://d.weibo.com/1087030002_2975_2012_0#'
望得到大家帮助,谢谢